KR20200109895A

KR20200109895A - Methods and apparatus for supporting interaction Undo for interaction among multiple users

Info

Publication number: KR20200109895A
Application number: KR1020190029697A
Authority: KR
Inventors: 박정민; 이중재
Original assignee: 한국과학기술연구원; 재단법인 실감교류인체감응솔루션연구단
Priority date: 2019-03-15
Filing date: 2019-03-15
Publication date: 2020-09-23
Also published as: KR102285331B1

Abstract

Provided are a method and a device for supporting interaction restoration for interactions among multiple users in a virtual space in which the multiple users are participate. The device for supporting interaction restoration receives restoration information from a restoration request user who performed interaction restoration, determines a restoration point of time of another user other than the restoration request user among multiple users according to the restoration information, and requests for interaction restoration to the determined restoration point of time from the another user.

Description

TECHNICAL FIELD [Methods and apparatus for supporting interaction Undo for interaction among multiple users}

인터랙션 복원을 지원하는 방법 및 장치에 관한 것으로, 구체적으로, 여러 사용자 사이의 상호작용과 관련된 인터랙션의 복원을 지원하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for supporting interaction restoration, and more particularly, to a method and apparatus for supporting restoration of an interaction related to an interaction between multiple users.

[국가지원 연구개발에 대한 설명][Explanation of nationally supported R&D]

본 연구는 한국연구재단의 관리 하에 과학기술정보통신부의 글로벌프론티어지원(R&D) 사업의 "원격 사용자간 협업을 위한 손 기반 Seamless CoUI 기술 개발에 관한 연구"(과제 고유번호: 1711082612, 세부과제번호: 2011-0031425)의 지원에 의하여 이루어진 것이다.This study is under the management of the National Research Foundation of Korea, "A Study on the Development of Hand-Based Seamless CoUI Technology for Collaboration between Remote Users" of the Global Frontier Support (R&D) Project of the Ministry of Science and ICT. 2011-0031425).

최근 사용자들은 컴퓨터 기술과 장비의 급속한 발전과 더불어 다양한 제품 개발이 이루어짐에 따라 이전과는 다른 다양한 인터랙션을 경험하고 있다. 지금까지 사람과 컴퓨터 간의 효율적이고 개선된 인터랙션(상호작용)을 위한 연구는 꾸준히 진행되어 왔으며, 제스처 등의 행위를 기반으로 하여 복수의 사용자가 가상 공간에서 3차원 물체 또는 다른 사용자와 인터랙션하는 자연스러운 사용자 인터페이스(NUI, Natural User Interface) 분야가 계속해서 발전할 것으로 예측되고 있다.Recently, users are experiencing a variety of interactions different from before as various products are developed along with the rapid development of computer technology and equipment. Until now, research for efficient and improved interaction (interaction) between humans and computers has been steadily progressing, and natural users in which multiple users interact with 3D objects or other users in virtual space based on actions such as gestures. It is predicted that the field of natural user interface (NUI) will continue to develop.

가상 공간에서 복수의 사용자들이 상호 작용을 하는 경우, 예를 들어, 사용자 1, 사용자 2가 함께 가상 물체를 이동시키는 상호 작용을 하는 경우, 사용자 1의 행위에 대한 인식 오류 등에 따라 가상 공간 내에서의 사용자 1의 행위를 복원(Undo)해야 되는 상황이 발생할 수 있다. 여기서, 복원은 이전의 상호 작용을 무효(Undo)로 하고 다시 수행하는 것를 의미한다. 상술한 행위 기반의 3차원 가상 공간의 사용자 인터페이스 환경은 이러한 인터랙션의 복원 기능을 제공할 수 있다. When a plurality of users interact in a virtual space, for example, when User 1 and User 2 interact to move a virtual object together, in the case of an error in recognition of User 1's behavior, There may be a situation in which user 1's behavior must be undoed. Here, restoration means making the previous interaction undo and performing it again. The above-described behavior-based user interface environment of a 3D virtual space may provide a function of restoring such an interaction.

다만, 종래의 인터랙션의 복원은 사용자의 행위를 다시 인식하여 가상 물체를 다시 잡아서 인터랙션을 계속 진행하거나, 시스템을 초기화하여 모든 과정을 다시 시작하는 방식으로 제공되었다. 또한, 종래의 인터랙션에서는 인터랙션의 복원을 요청한 사용자와 가상 물체와의 관계만을 고려하여 복원을 제공하였으며, 인터랙션의 복원과 관련하여 상기 가상 공간에 협업하고 있는 다른 사용자는 고려되지 않았다. 즉, 복수의 사용자가 서로 협력하는 3차원 인터랙션 조작에 대한 복원(Undo)은 협력하는 다른 사용자의 조작에 영향을 미치므로 다른 사용자를 고려하여, 전체 시각적인 관점에서 3차원 인터랙션에 대한 복원을 수행하는 방법 및 장치가 요구되고 있는 실정이다.However, in the conventional restoration of the interaction, the user's behavior is recognized again and the virtual object is captured again to continue the interaction, or the system is initialized to restart all processes. Also, in the conventional interaction, restoration was provided in consideration of only the relationship between the user who requested the restoration of the interaction and the virtual object, and other users collaborating with the virtual space in relation to the restoration of the interaction were not considered. In other words, Undo for 3D interaction manipulation in which multiple users cooperate with each other affects the manipulation of other cooperating users, so the 3D interaction is restored from the overall visual point of view in consideration of other users. There is a demand for a method and an apparatus for this.

본 발명은 전체 시각의 관점에서 복수의 사용자 각각에 대한 인터랙션 히스토리를 관리하고, 다른 사용자의 상호 영향을 고려하여 인터랙션 복원을 지원하는 방법 및 장치를 제공한다.The present invention provides a method and apparatus for managing an interaction history for each of a plurality of users from the perspective of a whole view, and supporting interaction restoration in consideration of mutual influences of other users.

본 발명의 일 실시예에 따른 인터랙션 복원 지원 방법은 복수의 사용자가 참여하는 가상 공간에서 상기 복수의 사용자 사이의 상호작용에 대한 인터랙션 복원을 지원하는 인터랙션 복원 지원 방법으로, 인터랙션 복원을 수행한 복원 요청 사용자로부터 복원 정보를 수신하는 단계; 상기 복원 정보에 따라 상기 복수의 사용자 중 상기 복수 요청 사용자 이외의 다른 사용자의 복원 시점을 결정하는 단계; 및 상기 다른 사용자에게 결정된 복원 시점으로 인터랙션 복원을 요청하는 단계를 포함한다.An interaction restoration support method according to an embodiment of the present invention is an interaction restoration support method that supports restoration of interactions between the plurality of users in a virtual space in which a plurality of users participate, and a restoration request after performing an interaction restoration Receiving restoration information from a user; Determining a restoration time point of a user other than the plurality of requesting users among the plurality of users according to the restoration information; And requesting the other user to restore the interaction to the determined restoration time point.

본 발명의 다른 실시예에 따른 인터랙션 복원 지원 장치는 복수의 사용자가 참여하는 가상 공간에서 상기 복수의 사용자 사이의 상호작용에 대한 인터랙션 복원을 지원하는 인터랙션 복원 지원 장치로, 인터랙션 복원을 수행한 복원 요청 사용자로부터 복원 정보를 수신하고, 상기 복원 정보에 따라 상기 복수의 사용자 중 상기 복수 요청 사용자 이외의 다른 사용자의 복원 시점을 결정하며, 상기 다른 사용자에게 결정된 복원 시점으로 인터랙션 복원을 요청하는 것을 특징으로 한다.An interaction restoration support apparatus according to another embodiment of the present invention is an interaction restoration support apparatus that supports restoration of an interaction for an interaction between the plurality of users in a virtual space where a plurality of users participate, and a restoration request after performing an interaction restoration Receiving restoration information from a user, determining a restoration time of a user other than the plurality of users among the plurality of users according to the restoration information, and requesting the other user to restore an interaction at the determined restoration time. .

본 발명의 또 다른 실시예에 따른 가상 공간 제공 시스템은 복수의 사용자에게 가상 공간을 제공하는 가상 공간 제공 장치; 상기 복수의 사용자의 신체의 적어도 일부를 인식하여 상기 가상 공간에 반영하게 하는 입력 장치; 상기 가상 공간을 출력하여 상기 복수의 사용자에게 제공하는 출력 장치; 상기 복수의 사용자들의 인터랙션을 저장하는 인터랙션 히스토리 저장부; 및 상기 복수의 사용자들의 인터랙션 타입 정보 및 시계열적 정보를 수집하며, 인터랙션 복원을 수행한 복원 요청 사용자로부터 복원 정보를 수신하고, 상기 복원 정보에 따라 상기 복수의 사용자 중 상기 복수 요청 사용자 이외의 다른 사용자의 복원 시점을 결정하며, 상기 다른 사용자에게 결정된 복원 시점으로 인터랙션 복원을 요청하는 인터랙션 복원 지원 장치를 포함한다.A virtual space providing system according to another embodiment of the present invention includes a virtual space providing device for providing a virtual space to a plurality of users; An input device for recognizing at least some of the bodies of the plurality of users and reflecting them in the virtual space; An output device that outputs the virtual space and provides it to the plurality of users; An interaction history storage unit for storing the interactions of the plurality of users; And collecting interaction type information and time-series information of the plurality of users, receiving restoration information from a restoration requesting user who performed the interaction restoration, and other users other than the plurality of users among the plurality of users according to the restoration information. And an interaction restoration support device that determines the restoration time of the user and requests the other user to restore the interaction to the determined restoration time.

본 발명의 일 실시예에 따른 인터랙션 복원 지원 장치는 복원 요청 사용자의 복원 시점에 따라 복수의 사용자 중 복원 요청 사용자 이외의 다른 사용자의 복원 시점을 결정하고, 이에 대응하는 인터랙션의 복원을 수행되도록 지원할 수 있다.The apparatus for supporting restoration of interaction according to an embodiment of the present invention may determine a restoration time of a user other than the restoration requesting user among a plurality of users according to the restoration time of the restoration requesting user, and support the restoration of the corresponding interaction. have.

즉, 본 발명의 일 실시예에 따른 인터랙션 복원 지원 장치는 전체 시각의 관점에서 복수의 사용자 각각에 대한 인터랙션 히스토리를 관리하고, 다른 사용자의 상호 영향을 고려하여 인터랙션 복원을 지원할 수 있으며, 이를 포함하는 가상 공간 제공 시스템은 보다 개선된 인터랙션 복원을 제공하는 사용자 환경을 제공할 수 있다.That is, the apparatus for restoring an interaction according to an embodiment of the present invention manages the interaction history for each of a plurality of users from the perspective of the whole view, and supports the restoration of the interaction in consideration of mutual influences of other users, including The virtual space providing system may provide a user environment that provides more improved interaction restoration.

도 1은 본 발명의 일 실시예에 따른 가상 공간 제공 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 가상 공간을 나타낸 예시도이다.
도 3은 본 발명의 일 실시예에 따른 가상 공간 제공 시스템과 인터랙션 복원 지원 장치의 관계를 도시한 도면이다.
도 4는 글로벌 인터랙션 히스토리 관리부에서 수집된 인터랙션 타입 및 시계열적 정보를 도시한 그래프이다.
도 5는 복원 요청 사용자를 기준으로 인터랙션이 복원되는 과정을 도시한 순서도이다.
도 6은 다른 사용자를 기준으로 인터랙션이 복원되는 과정을 도시한 순서도이다.
도 7은 본 발명의 다른 실시예에 따른 인터랙션 복원 방법의 순서도이다.1 is a block diagram of a system for providing a virtual space according to an embodiment of the present invention.
2 is an exemplary view showing a virtual space according to an embodiment of the present invention.
3 is a diagram illustrating a relationship between a system for providing a virtual space and an apparatus for supporting interaction restoration according to an embodiment of the present invention.
4 is a graph showing interaction types and time series information collected by a global interaction history management unit.
5 is a flowchart illustrating a process of restoring an interaction based on a restoration requesting user.
6 is a flowchart illustrating a process of restoring an interaction based on another user.
7 is a flowchart of an interaction restoration method according to another embodiment of the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당 업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있다. 따라서, 후술하는 상세한 설명은 한정적인 의미로 기술된 것이 아니며, 본 발명의 범위는 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에서 동일하거나 유사한 기능을 지칭한다.DETAILED DESCRIPTION OF THE INVENTION The detailed description of the present invention to be described below refers to the accompanying drawings, which illustrate specific embodiments in which the present invention may be practiced. These embodiments are described in detail enough to enable a person skilled in the art to practice the present invention. The various embodiments of the present invention are different from each other, but need not be mutually exclusive. For example, certain shapes, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the present invention in relation to one embodiment. Further, the position or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the present invention. Accordingly, the detailed description to be described below is not described in a limiting sense, and the scope of the present invention is limited only by the appended claims along with all scopes equivalent to those claimed by the claims. Like reference numerals in the drawings refer to the same or similar functions in various aspects.

본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.The terms used in the present specification have selected general terms that are currently widely used as possible while considering functions, but this may vary according to the intention or custom of a technician working in the field or the emergence of new technologies. In addition, in certain cases, there are terms arbitrarily selected by the applicant, and in this case, the meaning will be described in the description of the corresponding specification. Accordingly, terms used in the present specification should be interpreted based on the actual meaning of the term and the entire contents of the present specification, not a simple name of the term.

도 1은 본 발명의 일 실시예에 따른 가상 공간 제공 시스템의 블록도이다. 도 2는 본 발명의 일 실시예에 따른 가상 공간을 나타낸 예시도이다.1 is a block diagram of a system for providing a virtual space according to an embodiment of the present invention. 2 is an exemplary view showing a virtual space according to an embodiment of the present invention.

실시예들에 따른 가상 공간 제공 시스템(10) 및 이를 구성하는 각각의 장치 또는 부(unit)는, 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 본 발명의 일 실시예에 따른 가상 공간 제공 시스템(10)의 각각의 구성요소는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭한다. 하드웨어는 CPU(Central Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다. 예를 들어, 인터랙션 복원 지원 장치(100)는, 여러 사용자 사이에서 발생하는 인터랙션을 복원하기 위한 하드웨어 및 이를 위한 소프트웨어의 조합을 지칭할 수 있다.The virtual space providing system 10 and each device or unit constituting the virtual space providing system 10 according to the embodiments may have an aspect that is entirely hardware, or partially hardware and partially software. For example, each component of the virtual space providing system 10 according to an embodiment of the present invention refers to a combination of hardware and software driven by the hardware. The hardware may be a data processing device including a CPU (Central Processing Unit) or another processor. In addition, software driven by hardware may refer to an executing process, an object, an executable file, a thread of execution, a program, and the like. For example, the interaction restoration support apparatus 100 may refer to a combination of hardware and software for restoring an interaction occurring between multiple users.

또한, 본 명세서에서 가상 공간 제공 시스템(10)을 구성하는 각 모듈은 분산 컴퓨팅 환경 하에서 서로 통신 가능하게 연결될 수 있으며, 반드시 물리적으로 구분되는 별개의 구성요소를 지칭하는 것으로 의도되는 것은 아니다. In addition, in the present specification, modules constituting the virtual space providing system 10 may be communicatively connected to each other in a distributed computing environment, and are not necessarily intended to refer to separate components that are physically separated.

가상 공간 제공 시스템(10)은 복수의 사용자가 참여할 수 있는 가상 공간을 제공할 수 있다. 가상 공간은 소정의 물리량을 가진 복수의 가상 모델이 구현될 수 있다. 가상 모델은 가상 공간상에서 사용자의 신체 일부 또는 실제 물체와 근사하게 물리적인 운동을 수행하도록 구현될 수 있다. 가상 모델은 그래픽 정보와 물리 정보를 포함할 수 있다. 여기서, 그래픽 정보는 가상 모델을 가상 공간에 렌더링하기 위한 정보일 수 있으며, 물리 정보는 가상 물체의 물리 법칙을 적용하기 위한 물리량 및 다른 물리 정보를 가진 가상 물체와의 접촉을 인식하는 접촉 포인트 등에 관한 정보일 수 있다. 예시적으로, 가상 물체의 접촉 포인트는 메쉬 형태로 구성될 수 있으며, 가상 물체간의 접촉은 이러한 메쉬 포인트의 접촉으로 인식될 수 있다. 가상 공간은 가상 블록을 활용한 블록 놀이가 가능한 공간일 수 있으나, 이에 한정되는 것은 아니며 체스 게임을 수행할 수 있는 게임 공간 또는 사무 업무를 처리하는 가상 오피스일 수도 있다.The virtual space providing system 10 may provide a virtual space in which a plurality of users can participate. In the virtual space, a plurality of virtual models having a predetermined physical quantity may be implemented. The virtual model may be implemented to perform a physical motion approximating a user's body part or an actual object in a virtual space. The virtual model may include graphic information and physical information. Here, the graphic information may be information for rendering a virtual model in a virtual space, and the physical information is a contact point for recognizing a contact with a virtual object having a physical quantity and other physical information for applying the physical law of the virtual object. It could be information. For example, a contact point of a virtual object may be configured in a mesh shape, and a contact between virtual objects may be recognized as a contact of the mesh point. The virtual space may be a space in which block play using virtual blocks is possible, but is not limited thereto, and may be a game space in which a chess game can be played or a virtual office that processes office work.

가상 공간 제공 시스템(10)은 상술한 가상 공간을 생성하는 가상 공간 생성 장치(101), 사용자의 신체의 적어도 일부를 인식하여 가상 공간에 반영하게 하는 입력 장치(102) 및 가상 공간을 출력하여 사용자에게 제공하는 출력 장치(103)를 포함한다. 또한, 가상 공간 제공 시스템(10)의 가상 공간 생성 장치(101)는 서버일 수 있으며, 가상 공간 제공 시스템(10)은 상기 가상 공간 생성 장치(101)에 접속하기 위한 클라이언트 장치(104)를 더 포함할 수 있다. 사용자는 클라이언트 장치(104)를 통해 상기 가상 공간 생성 장치(101)에 접속할 수 있다.The virtual space providing system 10 includes the virtual space generating device 101 for generating the above-described virtual space, the input device 102 for recognizing at least a part of the user's body and reflecting it in the virtual space, and outputting the virtual space to the user. It includes an output device 103 to provide to. In addition, the virtual space generating device 101 of the virtual space providing system 10 may be a server, and the virtual space providing system 10 further includes a client device 104 for accessing the virtual space generating device 101. Can include. The user can access the virtual space generating device 101 through the client device 104.

사용자의 신체의 적어도 일부(예를 들어, 손)가 립 모션(Leap Motion) 센서, 카메라와 같은 영상 센서, 특히 RGBD 센서를 포함하는 공지의 다양한 센서 등과 같은 입력 장치(102)를 통해 인식될 수 있으며, 인식된 손은 입력 정보로 가상 공간 생성 장치(101)에 제공되어 가상 공간에 가상 손으로 구현될 수 있다. 또한, 현재 구현되는 가상 공간은 3차원 디스플레이 장치 또는 헤드 마운트형 디스플레이 장치와 같은 출력 장치(103)를 통해 사용자에게 출력될 수 있다.At least a part of the user's body (e.g., hand) may be recognized through the input device 102 such as a lip motion sensor, an image sensor such as a camera, and in particular various known sensors including an RGBD sensor. In addition, the recognized hand may be provided to the virtual space generating apparatus 101 as input information and implemented as a virtual hand in the virtual space. In addition, the currently implemented virtual space may be output to a user through an output device 103 such as a 3D display device or a head mounted display device.

가상 공간에 참여하는 사용자는 복수일 수 있으며, 사용자는 가상 공간에서 인터랙션(Interaction)을 수행할 수 있다. 여기서, 인터랙션은 인간(Human) 대 세상(World)의 인간-세상(Human-World) 인터랙션(또는, 인간-물체 인터랙션)과, 인간 대 인간의 인간-세상-인간(Human-World-Human) 인터랙션을 포함할 수 있다. 가상 공간에 참여하는 사용자는 신체의 적어도 일부를 이용해 제스처를 취함으로써, 사용자 인터페이스를 통해 가상 공간의 가상 물체를 조작하는 인터랙션 또는 가상 공간의 다른 사용자와 물체를 매개로 상호 작용을 수행할 수 있다. 상술한, 입력 장치(102), 출력 장치(103) 및 클라이언트 장치(104)는 사용자 각각에 제공될 수 있으며, 각 사용자는 클라이언트 장치(104)를 통해 가상 공간에 접속하며, 입력 장치(102)를 통해 가상 공간 상에서 인터랙션을 수행하고, 인터랙션이 반영된 가상 공간은 출력 장치(103)를 통해 사용자에게 출력될 수 있다. 복수의 사용자는 같은 공간에서 상술한 입력 장치(102), 출력 장치(103) 및 클라이언트 장치(104)를 사용하여 가상 공간에 참여할 수 있으나, 이에 한정되는 것은 아니다. 도 2에 도시된 사용자 1 내지 사용자 3에 해당하는 복수의 사용자는 서로 다른 공간에 위치할 수 있고, 네트워크로 통해 연결되어 하나의 가상 공간에 참여할 수 있다.There may be a plurality of users participating in the virtual space, and the user may perform an interaction in the virtual space. Here, the interaction is a human-world interaction (or human-object interaction) of human versus world, and human-world-human interaction between human and human. It may include. A user participating in the virtual space may perform a gesture using at least a part of the body, thereby performing an interaction that manipulates a virtual object in the virtual space through a user interface or an interaction with another user in the virtual space through the object. As described above, the input device 102, the output device 103 and the client device 104 may be provided to each user, each user accesses the virtual space through the client device 104, the input device 102 Through the interaction, the virtual space in which the interaction is reflected may be output to the user through the output device 103. A plurality of users may participate in the virtual space using the input device 102, the output device 103, and the client device 104 described above in the same space, but is not limited thereto. A plurality of users corresponding to users 1 to 3 shown in FIG. 2 may be located in different spaces and may be connected through a network to participate in one virtual space.

가상 공간 생성 장치(101)가 제공하는 가상공간에서 발생할 수 있는 인터랙션은 인터랙션 타입(Interaction type)으로 미리 분류될 수 있다. 인터랙션 타입은 인터랙션의 최소 의미 단위로 정의 및 분류될 수 있다. 인터랙션 타입은 인터랙션을 기술(Descript)할 수 있는 상위 레벨의 추상적 설명(High-level abstract description)을 의미할 수 있다. 인터랙션 타입은 인식의 레벨뿐만 아니라, 해석, 의도 및 행동에 관련된 다른 레벨들이 포함될 수 있다. 인터랙션 타입은 단순히 사람의 제스처를 인식하여 발생되는 사람과 가상 물체 사이의 상호작용을 의미하는 것이 아니라, 사람이 가상 물체에 부여한 의미 있는 행위 상태가 정의된 것으로 볼 수 있다.Interactions that may occur in a virtual space provided by the virtual space generating device 101 may be classified in advance into an interaction type. The interaction type may be defined and classified as a minimum semantic unit of the interaction. The interaction type may mean a high-level abstract description capable of describing the interaction. The interaction type may include not only the level of perception, but also other levels related to interpretation, intention and behavior. The interaction type does not simply mean an interaction between a person and a virtual object that occurs by recognizing a person's gesture, but it can be viewed as defining a meaningful state of action that a person gives to the virtual object.

예시적으로, 사용자가 특정 물체를 조작하는 경우 정의될 수 있는 인터랙션 타입은 접근(Approach), 물러남(Withdraw), 응시(Eye Gaze), 잡기(Grasp), 이동(Translation) 및 회전(Rotation) 등을 포함할 수 있다. 또한, 복수의 사용자의 상호 협동에 따라 수행될 수 있는 동작도 인터랙션 타입으로 정의될 수 있다. 예시적으로, 물체를 함께 잡기(InterP-Grasp), 물체를 함께 당기기(InterP-Pull), 물체를 다른 사용자에게 전달(Handover) 등의 상호작용도 인터랙션 타입으로 미리 정의될 수 있다. For example, when a user manipulates a specific object, the interaction types that can be defined are Approach, Withdraw, Eye Gaze, Grasp, Translation, and Rotation. It may include. In addition, an operation that can be performed according to mutual cooperation of a plurality of users may also be defined as an interaction type. For example, interactions such as grabbing objects together (InterP-Grasp), pulling objects together (InterP-Pull), and handover of an object to another user may also be predefined as an interaction type.

이러한, 인터랙션 타입은 사용자 인터페이스로써 사용자에게 제공될 수 있다. 사용자의 제스처, 음성 등의 사용자 행위를 입력 장치(102)를 통해 획득하고, 가상 공간 생성 장치(101)는 사용자 입력에 대한 인식 결과를 복수의 알고리즘을 통해 분석하여 적절한 인터랙션 타입을 추론할 수 있다. 가상 공간 생성 장치(101)는 인식 결과에 대한 분석을 수행하는 프로세서와 인터랙션 타입을 사용자 인터페이스로 제공하는 사용자 인터페이스 제공부를 포함할 수 있다. 사용자 입력에 대한 인식 결과는 인터랙션 타입의 확신도로 나타날 수 있으며, 인터랙션 타입의 확신도에 따라 적용될 인터랙션 타입이 가상 공간 생성 장치(101)에서 결정될 수 있다. 예시적으로, 사용자 입력에 대한 인식 결과로 산출된 잡기(Grasp) 인터랙션 타입의 확신도 값이 미리 설정된 기준 값 이상인 경우, 사용자의 입력에 대한 인터랙션은 잡기(Grasp) 인터랙션 타입으로 선택될 수 있다. 선택된 인터랙션 타입이 가상공간에 구현될 수 있다. Such an interaction type may be provided to a user as a user interface. User actions, such as a user's gesture and voice, are acquired through the input device 102, and the virtual space generating device 101 can infer an appropriate interaction type by analyzing the recognition result of the user input through a plurality of algorithms. . The virtual space generating apparatus 101 may include a processor that analyzes a recognition result and a user interface providing unit that provides an interaction type as a user interface. The recognition result for the user input may appear as a confidence level of an interaction type, and an interaction type to be applied may be determined by the virtual space generating apparatus 101 according to the confidence level of the interaction type. For example, when the confidence value of the Grasp interaction type calculated as a result of recognizing the user input is greater than or equal to a preset reference value, the interaction for the user's input may be selected as a Grasp interaction type. The selected interaction type may be implemented in a virtual space.

여기서, 프로세서에 의해 분석되어 결정된 인터랙션 타입은 데이터 베이스에 저장될 수 있다. 즉, 본 발명의 일 실시예에 따른 가상 공간 제공 시스템(10)은 추론된 인터랙션 타입 정보와 이에 대응되는 시계열적 정보가 저장되는 인터랙션 히스토리 저장부(105)를 포함한다. 인터랙션 히스토리 저장부(105)는 각 사용자에 대응하여 준비될 수 있다. 인터랙션 히스토리 저장부(105)에 저장된 인터랙션 타입 정보와 시계열적 정보에 따라 후술할 인터랙션 조작에 대한 복원이 제공될 수 있다.Here, the interaction type analyzed and determined by the processor may be stored in a database. That is, the virtual space providing system 10 according to an embodiment of the present invention includes an interaction history storage unit 105 that stores inferred interaction type information and time series information corresponding thereto. The interaction history storage unit 105 may be prepared corresponding to each user. Restoration of an interaction manipulation to be described later may be provided according to the interaction type information and time series information stored in the interaction history storage unit 105.

상술한 인터랙션 타입은 일종의 유저 인터페이스와 같이, 사용자가 참여하는 가상 공간의 화면상에 표시될 수 있다. 여기서, 가상 공간 생성 장치(101)는 상술한 인터랙션 타입을 기준으로 가상 공간 내의 인터랙션 조작에 대한 복원(Undo)을 제공할 수 있다. 가상 공간 제공 시스템(10)은 여러 사용자 사이에서 발생하는 인터랙션을 전체 시각적인 관점에서 제어하도록 구성된 인터랙션 복원 지원 장치(100)를 더 포함할 수 있다. 이하, 상기 가상공간에서 수행되는 인터랙션의 복원 과정 및 인터랙션 복원 지원 장치(100)에 대해 보다 상세히 설명하도록 한다.The above-described interaction type may be displayed on a screen of a virtual space in which a user participates, like a kind of user interface. Here, the virtual space generating apparatus 101 may provide a restoration (Undo) for an interaction manipulation in the virtual space based on the above-described interaction type. The virtual space providing system 10 may further include an interaction restoration support apparatus 100 configured to control interactions occurring between multiple users from a full visual point of view. Hereinafter, a process of restoring an interaction performed in the virtual space and the apparatus 100 for supporting interaction restoration will be described in more detail.

도 3은 본 발명의 일 실시예에 따른 가상 공간 제공 시스템과 인터랙션 복원 지원 장치의 관계를 도시한 도면이다. 도 4는 글로벌 인터랙션 히스토리 관리부에서 수집된 인터랙션 타입 및 시계열적 정보를 도시한 그래프이다. 3 is a diagram illustrating a relationship between a system for providing a virtual space and an apparatus for supporting interaction restoration according to an embodiment of the present invention. 4 is a graph showing interaction types and time series information collected by a global interaction history management unit.

도 3에 도시된 바와 같이, 가상 공간 제공 시스템(10)은 복수의 사용자(사용자 1,..., 사용자 N) 각각에 대응하는 인터랙션 히스토리 저장부(105)를 포함할 수 있다. 복수의 사용자(사용자 1, ..., 사용자 N)는 각각 제공된 입력 장치(102), 출력 장치(103) 및 클라이언트 장치(104)를 통해 가상 공간에서 상호 협력적인 인터랙션을 수행하고 있다. 여기서, 각 사용자의 행동 및 동작은 미리 정의된 인터랙션 타입 내에서 추론되어 가상 공간에서 구현될 수 있으며, 추론된 인터랙션 타입 정보 및 이의 시계열적 정보는 대응하는 인터랙션 히스토리 저장부(105)에 저장될 수 있다. As shown in FIG. 3, the virtual space providing system 10 may include an interaction history storage unit 105 corresponding to each of a plurality of users (user 1,..., user N). A plurality of users (user 1, ..., user N) are performing mutually cooperative interactions in a virtual space through the input device 102, the output device 103, and the client device 104, respectively, provided. Here, the actions and actions of each user may be inferred within a predefined interaction type and implemented in a virtual space, and the inferred interaction type information and its time series information may be stored in the corresponding interaction history storage unit 105. have.

인터랙션 복원 지원 장치(100)는 각 사용자의 인터랙션 히스토리 저장부(105)와 연결될 수 있다. 인터랙션 복원 지원 장치(100)는 각 사용자의 인터랙션 히스토리 저장부(105)와 네트워크를 통해 연결될 수 있으나, 이에 한정되는 것은 아니다. 인터랙션 복원 지원 장치(100)는 연결된 각 사용자의 인터랙션 히스토리 저장부(105)로부터 인터랙션 타입 정보 및 시계열적 정보를 수집할 수 있다. 여기서, 인터랙션 타입 정보는 추론되어 가상 공간에 구현된 인터랙션 타입에 대한 정보를 의미하며, 시계열적 정보는 상기 인터랙션 타입이 가상 공간에 구현된 시간을 의미할 수 있다. The interaction restoration support device 100 may be connected to the interaction history storage unit 105 of each user. The apparatus 100 for supporting interaction restoration may be connected to the interaction history storage unit 105 of each user through a network, but is not limited thereto. The interaction restoration support apparatus 100 may collect interaction type information and time series information from the interaction history storage unit 105 of each connected user. Here, the interaction type information may mean information on an interaction type that is inferred and implemented in a virtual space, and the time series information may mean a time when the interaction type is implemented in a virtual space.

인터랙션 복원 지원 장치(100)는 상술한 인터랙션 타입 정보와 시계열적 정보를 각 사용자의 인터랙션 히스토리 저장부(105)로부터 수집하는 글로벌 인터랙션 히스토리 관리부(110) 및 시간 동기화를 위한 NTP 서버(120)를 포함할 수 있다. 각 사용자의 인터랙션 히스토리 저장부(105)는 NTP 서버(120)와 시간이 동기화될 수 있다. 따라서, 시간 오차의 발생 없이 각 사용자의 추론된 인터랙션 타입 정보 및 이의 시계열적 정보가 글로벌 인터랙션 히스토리 관리부(110)에 수집될 수 있다. The interaction restoration support apparatus 100 includes a global interaction history management unit 110 that collects the above-described interaction type information and time series information from the interaction history storage unit 105 of each user and an NTP server 120 for time synchronization. can do. Each user's interaction history storage unit 105 may synchronize time with the NTP server 120. Accordingly, the inferred interaction type information and time series information of each user may be collected in the global interaction history management unit 110 without occurrence of a time error.

도 4는 사용자 1 및 사용자 2로부터 인터랙션 타입 정보 및 이의 시계열적 정보를 수집한 글로벌 인터랙션 히스토리 관리부를 예시적으로 도시한 그래프이다. 글로벌 인터랙션 히스토리 관리부(110)는 사용자 1로부터 제2 시점(t₂)에 수행된 인터랙션 타입 정보, 제4 시점(t₄)에 수행된 인터랙션 타입 정보, 제5 시점(t₅)에 수행된 인터랙션 타입 정보를 수집하고, 사용자 2로부터 제1 시점(t₁)에 수행된 인터랙션 타입 정보, 제3 시점(t₃)에 수행된 인터랙션 타입 정보, 제4 시점(t₄)에 수행된 인터랙션 타입 정보 및 제6 시점(t₆)에 수행된 인터랙션 타입 정보를 각각 수집한다. 여기서, 제1 시점(t₁)이 현재 시점을 기준으로 가장 오래된 시점일 수 있고, 제6 시점(t₆)이 현재 시점에서 가장 가까운 시점일 수 있다. 또한, 동일한 시점에 복수의 사용자로부터 인터랙션이 동시에 수집된 경우, 복수의 사용자들이 함께 인터랙션을 수행한 것으로 볼 수 있다. 즉, 제4 시점(t₄)에 사용자 1 및 사용자 2는 함께 협력적인 인터랙션, 예를 들어, 물체를 함께 잡기(InterP-Grasp), 물체를 함께 당기기(InterP-Pull), 물체를 다른 사용자에게 전달(Handover ) 등을 수행한 것으로 볼 수 있다. 4 is a graph exemplarily showing a global interaction history management unit that collects interaction type information and time series information from users 1 and 2; The global interaction history management unit 110 includes information on the interaction type performed at the second time point t ₂ from the user 1, information on the type of interaction performed at the fourth time point t ₄ , and the interaction performed at the fifth time point t ₅ . Type information is collected, and interaction type information performed at the first time point (t ₁ ) from user 2, interaction type information performed at the third time point (t ₃ ), and interaction type information performed at the fourth time point (t ₄ ) And information about the interaction type performed at the sixth time point t ₆ , respectively. Here, the first viewpoint t ₁ may be the oldest viewpoint based on the current viewpoint, and the sixth viewpoint t ₆ may be the closest viewpoint to the current viewpoint. In addition, when interactions are simultaneously collected from a plurality of users at the same time, it can be considered that the plurality of users performed the interaction together. That is, at the fourth point in time (t ₄ ), User 1 and User 2 have a cooperative interaction, for example, grabbing an object together (InterP-Grasp), pulling an object together (InterP-Pull), and bringing the object to another user. It can be viewed as performing a handover or the like.

글로벌 인터랙션 히스토리 관리부(110)는 가상 공간에 참여하고 있는 모든 사용자의 인터랙션 타입 정보 및 시계열적 정보를 수집하고, 이의 히스토리를 관리할 수 있다. 수집된 인터랙션 타입 정보 및 시계열적 정보는 특정 사용자의 복원에 대해 다른 사용자의 인터랙션 복원 시점을 결정하기 위한 기초 자료가 될 수 있다. 여기서, 시계열적 정보에 따른 시점이 사용자들이 수행한 인터랙션에 대응되기에, 각 사용자의 복원 시점을 결정하는 것은 각 사용자의 복원될 인터랙션을 결정하는 것으로 간주될 수 있으며, 복원될 인터랙션은 복원 시점을 결정함에 따라 결정될 수 있다.The global interaction history management unit 110 may collect interaction type information and time series information of all users participating in the virtual space, and manage the history thereof. The collected interaction type information and time-series information may be basic data for determining a restoration time point of another user's interaction with respect to restoration of a specific user. Here, since the time point according to the time series information corresponds to the interaction performed by the users, determining the restoration time of each user may be regarded as determining the interaction to be restored by each user, and the interaction to be restored is the restoration time. It can be decided by decision.

인터랙션 복원 지원 장치(100)의 글로벌 인터랙션 히스토리 관리부(110)는 연결된 복수의 사용자 중 적어도 한 명 이상의 사용자로부터 인터랙션 타입의 복원 정보를 수신할 수 있다. 가상 공간에 참여하는 복수의 사용자 중 적어도 한 명 이상이 인터랙션에 복원을 진행하고, 본인이 수행한 복원과 관련된 복원 정보를 글로벌 인터랙션 히스토리 관리부(110)에 송신할 수 있다. 복수의 사용자 중 인터랙션 복원을 진행한 사용자를 복원 요청 사용자로 정의하고, 복수의 사용자 중 복원 요청 사용자 이외의 사용자를 다른 사용자로 정의한다. 예시적으로, 복수의 사용자(사용자 1, ..., 사용자 N)에서 사용자 1이 복원 요청 사용자이면, 나머지 사용자 2, ..., 사용자 N이 다른 사용자에 해당한다. 여기서, 인터랙션 타입의 복원 정보는 복원 요청 사용자의 복원 시점에 대한 정보를 포함할 수 있다. The global interaction history management unit 110 of the apparatus 100 for supporting interaction restoration may receive restoration information of an interaction type from at least one or more of a plurality of connected users. At least one or more of a plurality of users participating in the virtual space may restore the interaction and transmit restoration information related to the restoration performed by the user to the global interaction history management unit 110. Among the plurality of users, a user who has undergone restoration of the interaction is defined as a restoration requesting user, and a user other than the restoration requesting user among the plurality of users is defined as another user. For example, in a plurality of users (user 1, ..., user N), if user 1 is a restoration requesting user, the remaining users 2, ..., and user N correspond to other users. Here, the restoration information of the interaction type may include information on the restoration time of the restoration requesting user.

인터랙션 복원 지원 장치(100)의 글로벌 인터랙션 히스토리 관리부(110)는 복원 요청 사용자의 복원 시점을 기준으로 다른 사용자의 인터랙션을 조정할 수 있다. 즉, 글로벌 인터랙션 히스토리 관리부(110)는 복원 요청 사용자의 변경된 복원 시점을 기준으로 다른 사용자의 복원 시점을 결정할 수 있다. 구체적으로, 글로벌 인터랙션 히스토리 관리부(110)는 복원 요청 사용자의 복원 시점이 제n 시점(t_n)인 경우, 복원 요청 사용자를 제외한 다른 사용자에 대해 제n 시점(t_n) 이후인 제n₊₁시점(t_n+1)의 인터랙션을 모두 무효(Undo)시킬 수 있다. The global interaction history management unit 110 of the apparatus 100 for supporting interaction restoration may adjust the interaction of other users based on the restoration time of the user requesting restoration. That is, the global interaction history management unit 110 may determine the restoration time of another user based on the changed restoration time of the restoration requesting user. Specifically, the global interaction history management section 110 of the recovery time to restore user requests the n-th point in time (t _n) of the case, since the n-th point in time (t _n) for the other users except for the user requests to restore the n ₊₁ All interactions at the time point (t _n+1 ) can be undone.

그리고, 글로벌 인터랙션 히스토리 관리부(110)는 복원 요청 사용자를 제외한 다른 사용자가 제n 시점(t_n)에 인터랙션을 수행한 경우, 제n 시점(t_n)으로 다른 사용자의 복원 시점을 결정할 수 있으며, 다른 사용자가 제n 시점(t_n)에 인터랙션을 수행하지 않은 경우, 제n 시점(t_n)과 가장 가까운 이전 시점으로 다른 사용자의 복원 시점을 결정할 수 있다.In addition, the global interaction history management unit 110 may determine the restoration time of the other user as the n-th time point t _n when other users other than the restoration requesting user perform the interaction at the n-th time point t _n , other, the user can determine the n-th point in time (t _n) and of the nearest time before another user restore point if it is not performed on the interaction point, the n-th (t _n).

예시적으로, 도 4에서 제2 사용자가 복원 요청 사용자이며, 제2 사용자의 복원 시점이 제4 시점(t₄)인 경우, 제1 사용자의 제5 시점(t₅)의 행동은 무효가 된다. 그리고, 제1 사용자는 제4 시점(t₄)에 인터랙션을 수행하였기에 제1 사용자의 복원 시점은 제4 시점(t₄)으로 결정될 수 있다. 또한, 제2 사용자가 복원 요청 사용자이며, 제2 사용자의 복원 시점이 제3 시점(t₃)인 경우, 제1 사용자의 제4 시점(t₄), 제5 시점(t₅)의 행동은 무효가 된다. 그리고, 제1 사용자는 제3 시점(t₃)에 인터랙션을 수행하지 않았기에, 제1 사용자의 복원 시점은 제3 시점(t₃)의 직전 시점으로 결정될 수 있다. 즉, 제3 시점(t₃)과 가장 가까운 이전 시점인 제2 시점(t₂)으로 결정될 수 있다. For example, in FIG. 4, when the second user is a user requesting restoration, and the restoration time of the second user is the fourth time point t ₄ , the first user's action at the fifth point point t ₅ is invalid. . In addition, since the first user performs the interaction at the fourth time point t ₄ , the restoration time point of the first user may be determined as the fourth time point t ₄ . In addition, when the second user is the restoration requesting user, and the restoration time of the second user is the third time point (t ₃ ), the actions of the first user at the fourth time point (t ₄ ) and the fifth time point (t ₅ ) are It becomes invalid. In addition, since the first user has not performed the interaction at the third time point t ₃ , the restoration time point of the first user may be determined as a time point immediately before the third time point t ₃ . That is, it may be determined as the second time point t ₂ which is the closest previous time point to the third time point t ₃ .

인터랙션 복원 지원 장치(100)의 글로벌 인터랙션 히스토리 관리부(110)는 다른 사용자의 복원 시점을 결정하고, 결정된 복원 시점으로의 인터랙션 복원을 요청할 수 있다. 글로벌 인터랙션 히스토리 관리부(110)는 복원 요청 명령을 가상 공간 생성 장치(101)로 제공할 수 있다. 가상 공간 생성 장치(101)는 복원 요청 사용자의 요청에 따라 현재 시점이 변경될 것이라는 알림을 다른 사용자에게 제공할 수 있으며, 다른 사용자들은 변경될 시점에 수행하였던 인터랙션에 대응하는 동작, 포즈로 변경하여 가상 공간의 인터랙션 복원에 적절히 대응할 수 있다.The global interaction history management unit 110 of the apparatus 100 for supporting interaction restoration may determine a restoration time point of another user and request an interaction restoration to the determined restoration time point. The global interaction history management unit 110 may provide a restoration request command to the virtual space generating device 101. The virtual space creation device 101 may provide a notification that the current time point will be changed according to the request of the user requesting restoration, and the other users change to an action or pose corresponding to the interaction performed at the time to be changed. It can respond appropriately to the restoration of interactions in virtual space.

여기서, 복원 요청 사용자가 복수인 경우, 글로벌 인터랙션 히스토리 관리부(110)는 복원 정보가 수신된 시간 순서대로 다른 사용자의 복원 시점을 결정할 수 있다. 예시적으로, 제1 복원 요청 사용자의 제1 복원 정보가 제2 복원 요청 사용자의 제2 복원 정보보다 먼저 수신되는 경우, 제1 복원 정보를 기초로 복원 시점을 결정한 이후, 제2 복원 정보를 기초로 복원을 수행할 수 있다. Here, when there are a plurality of users requesting restoration, the global interaction history management unit 110 may determine restoration times of other users in the order of time when restoration information is received. Exemplarily, when the first restoration information of the first restoration requesting user is received earlier than the second restoration information of the second restoration requesting user, after determining a restoration time based on the first restoration information, the second restoration information is You can perform restoration with

또한, 글로벌 인터랙션 히스토리 관리부(110)는 복수의 복원 정보의 수신 시간의 차이가 기설정된 기준 시간 이내인 경우, 늦게 수신된 복원 정보에 따른 복원을 수행하지 않을 수 있다. 예시적으로, 제1 복원 정보와 제2 복원 정보의 수신 시간의 차이가 기설정된 기준 시간 이내인 경우, 제2 복원 정보에 따른 복원을 수행하지 않을 수 있다. 즉, 제1 복원 요청 사용자의 복원 시점과 제2 복원 요청 사용자의 복원 시점의 차이가 매우 짧은 경우, 먼저 복원을 요청한 제1 복원 요청 사용자를 기준으로 전체적인 복원이 수행되고, 제2 복원 요청 사용자가 요청한 복원은 수행되지 않을 수 있다. 이러한 경우, 제2 복원 요청 사용자는 제1 복원 요청 사용자의 복원 시점을 기준으로 결정된 복원 시점에 대응하는 복원이 상술한 과정과 같이 수행될 수 있다. In addition, the global interaction history management unit 110 may not perform restoration according to the late received restoration information when the difference in reception time of the plurality of restoration information is within a preset reference time. For example, when the difference between the reception time of the first restoration information and the second restoration information is within a preset reference time, restoration according to the second restoration information may not be performed. That is, if the difference between the restoration time point of the first restoration requesting user and the restoration time point of the second restoration requesting user is very short, the entire restoration is performed based on the first restoration requesting user who requested the restoration first, and the second restoration requesting user The requested restoration may not be performed. In this case, the second restoration requesting user may perform restoration corresponding to the restoration time determined based on the restoration time of the first restoration requesting user in the same manner as described above.

또한, 글로벌 인터랙션 히스토리 관리부(110)는 복수의 복원 정보의 수신 시간이 동일한 경우, 더 이전 시점으로 복원하는 복원 요청 사용자를 기준으로 전체적인 복원을 수행할 수 있다. 예시적으로, 제1 복원 정보와 제2 복원 정보의 수신 시간이 동일하고, 제1 복원 정보의 복원 시점이 제2 복원 정보의 복원 시점보다 이전인 경우, 제1 복원 정보를 기준으로 전체적인 복원이 수행될 수 있다. 즉, 제2 복원 요청 사용자의 복원은 수행되지 않고, 제2 복원 요청 사용자는 제1 복원 요청 사용자의 복원 시점을 기준으로 결정된 복원 시점에 대응하는 복원이 상술한 과정과 같이 수행될 수 있다.In addition, when the reception times of the plurality of restoration information are the same, the global interaction history management unit 110 may perform a complete restoration based on a restoration requesting user who restores to a previous point in time. Exemplarily, when the first restoration information and the second restoration information are received at the same time, and the restoration time of the first restoration information is earlier than the restoration time of the second restoration information, the entire restoration is performed based on the first restoration information. Can be done. That is, the restoration of the second restoration requesting user is not performed, and the second restoration requesting user may perform restoration corresponding to the restoration time determined based on the restoration time of the first restoration requesting user as described above.

도 5는 복원 요청 사용자를 기준으로 인터랙션이 복원되는 과정을 도시한 순서도이다. 도 5를 참조하면, 인터랙션의 복원을 요청하는 입력(Undo/Redo 모드로 진입하기 위한 입력)이 사용자로부터 획득되면, 가상 공간 생성 장치(101)의 프로세서는 복원 요청 사용자에게 복원 모드를 제공할 수 있다. 복원 요청 사용자는 음성 명령 또는 손을 제외한 신체 부위의 제스처 등을 이용하여 인터랙션 복원을 위한 모드의 실행을 요청할 수 있다. 인터랙션의 복원을 요청하는 입력이 획득되지 않으면, 사용자의 동작에 대한 인터랙션 타입의 추론이 수행되며(인터랙션 모드), 추론된 인터랙션 타입은 인터랙션 히스토리 저장부(105)에 저장될 수 있다. 복원 모드에서 가상 공간 생성 장치(101)는 인터랙션 히스토리 저장부(105)로부터 복원 가능 정보를 획득하여, 복원 가능 정보에 대응되는 사용자 인터페이스를 사용자에게 제공할 수 있다. 여기서, 복원 가능 정보는 복원 요청 시점 이전에 인터랙션 히스토리 저장부(105)에 저장되었던 인터랙션 타입 및 이의 시계열적인 정보를 포함할 수 있다. 도 5에서, 인터랙션 히스토리 저장부(105)는 가상 물체에 대해 잡기(Grasp), 회전(Rotation), 놓기(Release)하는 인터랙션 타입이 시계열적인 정보에 해당하는 시점(t₁, t₂, t₃)와 함께 저장된 것이 도시되어 있으며, 각 인터랙션 타입 및 이에 대응하는 시계열적인 정보가 사용자 인터페이스로 사용자에게 제공될 수 있다(복원 인터랙션 선택 UI). 사용자 인터페이스를 통해 특정 인터랙션 타입에 대한 선택이 감지되면, 프로세서는 특정 인터랙션 타입을 참조로 하여 사용자의 행위 상태 및 가상 객체의 상태 중 적어도 하나를 복원하도록 지원할 수 있다.5 is a flowchart illustrating a process of restoring an interaction based on a restoration requesting user. Referring to FIG. 5, when an input requesting restoration of an interaction (an input for entering the Undo/Redo mode) is obtained from a user, the processor of the virtual space generating device 101 may provide a restoration mode to a user requesting restoration. have. The restoration request user may request execution of a mode for restoration of an interaction using a voice command or a gesture of a body part excluding a hand. If an input requesting restoration of an interaction is not obtained, inference of an interaction type for a user's operation is performed (interaction mode), and the inferred interaction type may be stored in the interaction history storage unit 105. In the restoration mode, the apparatus 101 for generating a virtual space may obtain restoration information from the interaction history storage unit 105 and provide a user interface corresponding to the restoration information to the user. Here, the restoreable information may include an interaction type stored in the interaction history storage unit 105 before the restoration request time point and time series information thereof. In FIG. 5, the interaction history storage unit 105 corresponds to time-series information in which the interaction type grasping, rotating, and releasing a virtual object corresponds to time series information (t ₁ , t ₂ , t _{3 ).} ) Is shown, and each interaction type and time-series information corresponding thereto may be provided to the user through a user interface (restore interaction selection UI). When a selection for a specific interaction type is detected through the user interface, the processor may support restoring at least one of a user's behavior state and a virtual object state by referring to the specific interaction type.

여기서, 가상 공간 생성 장치(101)는 사용자가 복원할 인터랙션에 대응하는 포즈(행위 상태)를 취할 수 있도록 지원할 수 있다. 예시적으로, 가상 공간 생성 장치(101)는 인식 장치를 통해 인식되는 현재 사용자의 인터랙션 포즈의 그래픽 요소와 복원할 인터랙션 포즈의 그래픽 요소를 같이 제공하여, 사용자가 복원할 인터랙션 포즈와 같은 포즈(행위 상태)를 취할 수 있도록 지원할 수 있다. 또한, 복원할 인터랙션 포즈의 그래픽 요소를 깜빡이거나, 화살표 등의 가이드 라인을 제공하여 사용자가 쉽게 포즈를 취하도록 지원할 수도 있다.Here, the virtual space generating apparatus 101 may support a user to take a pose (action state) corresponding to an interaction to be restored. Exemplarily, the virtual space generating device 101 provides a graphic element of an interaction pose of a current user recognized through the recognition device and a graphic element of an interaction pose to be restored, so that a pose (action State) can be supported. In addition, a graphic element of an interaction pose to be restored may be flickered, or a guide line such as an arrow may be provided to support the user to easily pose.

또한, 가상 공간 생성 장치(101)는 사용자로부터 인터랙션 입력이 발생되면(사용자가 포즈를 취했을 때 인터랙션 인식부가 이를 인식하면), 사용자의 현재 인터랙션 포즈와 복원할 인터랙션 포즈를 비교하여 적합 정도를 판단한 후 적합 정도가 기준 이상이 되면, 유지되는 시간(duration)을 체크하여 최종적으로 인터랙션을 복원할 수 있다.In addition, when an interaction input is generated from the user (when the interaction recognition unit recognizes it when the user poses), the virtual space generating device 101 compares the current interaction pose of the user with the interaction pose to be restored to determine the degree of fit. When the degree of conformity becomes more than the standard, the interaction can be finally restored by checking the duration.

또한, 가상 공간 생성 장치(101)의 프로세서는 복원을 위한 인터랙션 타입 및 이의 시계열적 정보를 포함한 복원 정보를 글로벌 인터랙션 히스토리 관리부(110)에게 제공할 수 있다. 글로벌 인터랙션 히스토리 관리부(110)는 상술한 과정을 통해 복원 요청 사용자를 제외한 다른 사용자의 복원 시점을 결정할 수 있으며, 이에 대한 복원 명령을 다른 사용자에게 제공한다.In addition, the processor of the virtual space generating apparatus 101 may provide restoration information including an interaction type for restoration and time series information thereof to the global interaction history management unit 110. The global interaction history management unit 110 may determine the restoration time of a user other than the restoration requesting user through the above-described process, and provide a restoration command for this to other users.

도 6은 다른 사용자를 기준으로 인터랙션이 복원되는 과정을 도시한 순서도이다. 다른 사용자들은 각 사용자들의 요청이 아닌, 상기 복원 명령에 의해 다른 사용자의 복원 모드가 시작될 수 있다. 가상 공간 생성 장치(101)는 상기 복원 모드에 따라 다른 사용자들에게 복원 모드를 제공할 수 있다. 상기 복원 모드에서, 글로벌 인터랙션 히스토리 관리부(110)에 의해 제공된 복원 명령에 따른 복원 시점에 대응하는 인터랙션으로 복원될 수 있다. 가상 공간 생성 장치(101)는 복원 모드에서 복원 명령에 따라 결정된 복원 시점(t_u)에 대응하는 인터랙션에 대응하는 포즈(행위 상태)를 취할 수 있도록 지원할 수 있다.6 is a flowchart illustrating a process of restoring an interaction based on another user. Other users may start the restoration mode of another user by the restoration command rather than the request of each user. The virtual space generating apparatus 101 may provide a restoration mode to other users according to the restoration mode. In the restoration mode, an interaction corresponding to a restoration point in time according to a restoration command provided by the global interaction history management unit 110 may be restored. The virtual space generating apparatus 101 may support taking a pose (action state) corresponding to an interaction corresponding to a restoration time point t _u determined according to a restoration command in the restoration mode.

예시적으로, 가상 공간 생성 장치(101)는 인식 장치를 통해 인식되는 현재 사용자의 인터랙션 포즈의 그래픽 요소와 복원할 인터랙션 포즈의 그래픽 요소를 같이 제공하여, 사용자가 복원할 인터랙션 포즈와 같은 포즈(액션)를 취할 수 있도록 지원할 수 있다. 또한, 복원할 인터랙션 포즈의 그래픽 요소를 깜빡이거나, 화살표 등의 가이드 라인을 제공하여 사용자가 쉽게 포즈를 취하도록 지원할 수도 있다.As an example, the virtual space generating device 101 provides a graphic element of an interaction pose of a current user recognized through the recognition device and a graphic element of an interaction pose to be restored, so that a pose (action pose) such as an interaction pose to be restored by the user is provided. ) To take. In addition, a graphic element of an interaction pose to be restored may be flickered, or a guide line such as an arrow may be provided to support the user to easily pose.

본 발명의 일 실시예에 따른 인터랙션 복원 지원 장치(100)는 복원 요청 사용자의 복원 시점에 따라 복수의 사용자 중 복원 요청 사용자 이외의 다른 사용자의 복원 시점을 결정하고, 이에 대응하는 인터랙션의 복원을 수행되도록 지원할 수 있다. 즉, 인터랙션 복원 지원 장치(100)는 전체 시각의 관점에서 복수의 사용자 각각에 대한 인터랙션 히스토리를 관리하고, 다른 사용자의 상호 영향을 고려하여 인터랙션 복원을 지원할 수 있으며, 이를 포함하는 가상 공간 제공 시스템(10)은 보다 개선된 인터랙션 복원을 제공하는 사용자 환경을 제공할 수 있다.The interaction restoration support apparatus 100 according to an embodiment of the present invention determines a restoration time of a user other than the restoration requesting user among a plurality of users according to the restoration time of the restoration requesting user, and restores the corresponding interaction. I can apply as much as possible. That is, the interaction restoration support apparatus 100 may manage the interaction history for each of a plurality of users from the perspective of the entire view and support the restoration of the interaction in consideration of the mutual influences of other users, and a virtual space providing system including the same ( 10) may provide a user environment that provides more improved interaction restoration.

도 7은 본 발명의 다른 실시예에 따른 인터랙션 복원 방법의 순서도이다. 본 실시예에 따른 방법은 도 1 내지 도 6에 따른 인터랙션 복원 장치에서 수행되는 인터랙션 복원 방법으로 중복되는 설명은 생략한다.7 is a flowchart of an interaction restoration method according to another embodiment of the present invention. The method according to the present embodiment is an interaction restoration method performed in the interaction restoration apparatus according to FIGS. 1 to 6, and a redundant description thereof will be omitted.

도 7을 참조하면, 본 발명의 실시예에 따른 인터랙션 복원 방법은 복수의 사용자들의 인터랙션 타입 정보 및 시계열적 정보를 수집하는 단계(S100), 인터랙션 복원을 수행한 복원 요청 사용자로부터 복원 정보를 수신하는 단계(S110), 상기 복원 정보에 따라 상기 복수의 사용자 중 상기 복수 요청 사용자 이외의 다른 사용자의 복원 시점을 결정하는 단계(S120) 및 상기 다른 사용자에게 결정된 복원 시점으로 인터랙션 복원을 요청하는 단계(S130)를 포함한다.Referring to FIG. 7, the method for restoring an interaction according to an embodiment of the present invention includes the steps of collecting interaction type information and time-series information of a plurality of users (S100), receiving restoration information from a restoration requesting user who has performed interaction restoration. Step (S110), determining a restoration time of a user other than the plurality of users among the plurality of users according to the restoration information (S120), and requesting the other user to restore the interaction to the determined restoration time (S130) ).

먼저, 방법은 복수의 사용자들의 인터랙션 타입 정보 및 시계열적 정보를 수집한다(S100). First, the method collects interaction type information and time series information of a plurality of users (S100).

복수의 사용자들의 인터랙션 타입 정보 및 시계열적 정보는 각 사용자들에 대응하는 인터랙션 히스토리 저장부(105)에 저장될 수 있다. 여기서, 인터랙션 복원 지원 장치(100)는 각 사용자의 인터랙션 히스토리 저장부(105)와 연결될 수 있다. 인터랙션 복원 지원 장치(100)는 각 사용자의 인터랙션 히스토리 저장부(105)와 네트워크를 통해 연결될 수 있으나, 이에 한정되는 것은 아니다. 인터랙션 복원 지원 장치(100)는 연결된 각 사용자의 인터랙션 히스토리 저장부(105)로부터 인터랙션 타입 정보 및 시계열적 정보를 수집할 수 있다. 여기서, 인터랙션 타입 정보는 추론되어 가상 공간에 구현된 인터랙션 타입에 대한 정보를 의미하며, 시계열적 정보는 상기 인터랙션 타입이 가상 공간에 구현된 시간을 의미할 수 있다. 각 사용자의 인터랙션 히스토리 저장부(105)는 NTP 서버와 시간이 동기화될 수 있다. 즉, 복수의 사용자들의 인터랙션 타입 정보 및 시계열적 정보는 NTP 서버를 통해 시간이 동기화될 수 있다. 따라서, 시간 오차의 발생 없이 각 사용자의 추론된 인터랙션 타입 정보 및 이의 시계열적 정보가 글로벌 인터랙션 히스토리 관리부(110)에 수집될 수 있다. 상기 수집된 인터랙션 타입 정보 및 시계열적 정보에 기초하여 다른 사용자의 복원 시점이 결정될 수 있다.The interaction type information and time series information of a plurality of users may be stored in the interaction history storage unit 105 corresponding to each user. Here, the interaction restoration support apparatus 100 may be connected to the interaction history storage unit 105 of each user. The apparatus 100 for supporting interaction restoration may be connected to the interaction history storage unit 105 of each user through a network, but is not limited thereto. The interaction restoration support apparatus 100 may collect interaction type information and time series information from the interaction history storage unit 105 of each connected user. Here, the interaction type information may mean information on an interaction type that is inferred and implemented in a virtual space, and the time series information may mean a time when the interaction type is implemented in a virtual space. Each user's interaction history storage unit 105 may synchronize time with the NTP server. That is, the interaction type information and time series information of a plurality of users may be synchronized in time through the NTP server. Accordingly, the inferred interaction type information and time series information of each user may be collected in the global interaction history management unit 110 without occurrence of a time error. A restoration time point of another user may be determined based on the collected interaction type information and time series information.

이어서, 인터랙션 복원을 수행한 복원 요청 사용자로부터 복원 정보를 수신한다(S110). Subsequently, restoration information is received from the restoration requesting user who has performed the restoration of the interaction (S110).

인터랙션 복원 지원 장치(100)는 연결된 복수의 사용자 중 적어도 한 명 이상의 사용자로부터 인터랙션 타입의 복원 정보를 수신할 수 있다. 가상 공간에 참여하는 복수의 사용자 중 적어도 한 명 이상이 인터랙션에 복원을 진행하고, 본인이 수행한 복원과 관련된 복원 정보를 인터랙션 복원 지원 장치(100)에 송신할 수 있다. 인터랙션 타입의 복원 정보는 복원 요청 사용자의 복원 시점에 대한 정보를 포함할 수 있다.The apparatus 100 for supporting interaction restoration may receive restoration information of an interaction type from at least one or more users among a plurality of connected users. At least one or more of the plurality of users participating in the virtual space may restore the interaction and transmit restoration information related to the restoration performed by the user to the interaction restoration support apparatus 100. The restoration information of the interaction type may include information on the restoration time of the restoration requesting user.

다음으로, 복원 정보에 따라 상기 복수의 사용자 중 상기 복수 요청 사용자 이외의 다른 사용자의 복원 시점을 결정한다(S120).Next, a restoration time point of a user other than the plurality of requesting users among the plurality of users is determined according to the restoration information (S120).

인터랙션 복원 지원 장치(100)는 복원 요청 사용자의 복원 시점을 기준으로 다른 사용자의 인터랙션을 조정할 수 있다. 즉, 인터랙션 복원 지원 장치(100)는 복원 요청 사용자의 복원 시점을 기준으로 다른 사용자의 복원 시점을 결정할 수 있다. 인터랙션 복원 지원 장치(100)는 상기 다른 사용자에게 결정된 복원 시점으로 인터랙션 복원을 요청할 수 있다.The apparatus 100 for supporting interaction restoration may adjust an interaction of another user based on a restoration time point of the user requesting restoration. That is, the interaction restoration support apparatus 100 may determine the restoration time of another user based on the restoration time of the restoration requesting user. The apparatus 100 for supporting interaction restoration may request the other user to restore the interaction to the determined restoration time point.

인터랙션 복원 지원 장치(100)는 복원 요청 사용자의 복원 시점이 제n 시점(t_n)인 경우, 복원 요청 사용자를 제외한 다른 사용자에 대해 제n 시점(t_n) 이후인 제n₊₁시점(t_n+1)의 인터랙션을 모두 무효(Undo)시킬 수 있다. Interaction restore support device 100 is restored when the user requests a recovery time of the n-th point in time (t _n), the n-th point, the restore request to other users other than the user (t _n) after the n-th ₊₁ time (t All interactions of _n+1 ) can be undone.

다른 사용자에게 결정된 복원 시점으로 인터랙션 복원을 요청한다(S130).Another user is requested to restore the interaction to the determined restoration time point (S130).

인터랙션 복원 지원 장치(100)는 다른 사용자의 복원 시점을 결정하고, 결정된 복원 시점으로의 인터랙션 복원을 요청할 수 있다. 인터랙션 복원 지원 장치(100)는 복원 요청 명령을 가상 공간 생성 장치(101)로 제공할 수 있다. 가상 공간 생성 장치(101)는 복원 요청 사용자의 요청에 따라 현재 시점이 변경될 것이라는 알림을 다른 사용자에게 제공할 수 있으며, 다른 사용자들은 변경될 시점에 수행하였던 인터랙션에 대응하는 동작, 포즈로 변경하여 가상 공간의 인터랙션 복원에 적절히 대응할 수 있다.The apparatus 100 for supporting interaction restoration may determine a restoration time point of another user and request an interaction restoration to the determined restoration time point. The interaction restoration support apparatus 100 may provide a restoration request command to the virtual space generation apparatus 101. The virtual space creation device 101 may provide a notification that the current time point will be changed according to the request of the user requesting restoration, and the other users change to an action or pose corresponding to the interaction performed at the time to be changed. It can respond appropriately to the restoration of interactions in virtual space.

이상에서 설명한 실시예들에 따른 인터랙션 복원 방법에 의한 동작은, 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 인터랙션 복원 방법에 의한 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.The operation by the method for restoring an interaction according to the embodiments described above may be implemented at least partially as a computer program and recorded on a computer-readable recording medium. A recording medium in which a program for implementing an operation by the method of restoring an interaction according to the embodiments is recorded and the computer-readable recording medium includes all types of recording devices in which data that can be read by a computer is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices. In addition, the computer-readable recording medium may be distributed over a computer system connected through a network, and computer-readable codes may be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present embodiment may be easily understood by those skilled in the art to which the present embodiment belongs.

이상에서는 실시예들을 참조하여 설명하였지만 본 발명은 이러한 실시예들 또는 도면에 의해 한정되는 것으로 해석되어서는 안 되며, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to the embodiments, the present invention should not be construed as being limited by these embodiments or drawings, and those skilled in the art will have the spirit and scope of the present invention described in the following claims. It will be understood that various modifications and changes can be made to the present invention within the range not departing from.

10: 가상 공간 제공 시스템
100: 인터랙션 복원 지원 장치
101: 가상 공간 생성 장치
102: 입력 장치
103: 출력 장치
104: 클라이언트 장치
105: 인터랙션 히스토리 저장부
110: 글로벌 인터랙션 히스토리 관리부
120: NTP 서버10: Virtual space provision system
100: interaction restoration support device
101: virtual space creation device
102: input device
103: output device
104: client device
105: interaction history storage unit
110: Global interaction history management department
120: NTP server

Claims

An interaction restoration support method that supports restoration of interactions for interactions between the plurality of users in a virtual space where a plurality of users participate,
Receiving restoration information from a restoration requesting user who has performed interaction restoration;
Determining a restoration time point of a user other than the plurality of requesting users among the plurality of users according to the restoration information; And
And requesting the other user to restore the interaction to the determined restoration time point.

The method of claim 1,
The restoration information includes information on the restoration time of the restoration requesting user,
The step of determining the restoration time of the other user,
If the recovery time of the user request to reclaim the n-th point in time (t _n), all of the interaction of the n-th point in time (t _n) of the n-th ₊₁ time performed after the (t _{n + 1)} with respect to the other users How to support interaction restoration, including invalidating.

The method of claim 2,
The step of determining the restoration time of the other user,
When the said other user interaction to perform the n-th point in time (t _n), and to the n-th point in time (t _n) determining the time of restoration of the other users,
If the other user has not performed an interaction in the n-th point in time (t _n), interaction restore supporting method includes determining a restore point of other users in the closest previous time and the n-th point in time (t _n).

The method of claim 1,
Before the step of receiving restoration information from the restoration requesting user who performed the interaction restoration, further comprising collecting interaction type information and time series information of the plurality of users,
The restoration time point of the other user is determined based on the collected interaction type information and time series information.

The method of claim 4,
The interaction type information and time-series information of the plurality of users are synchronized in time through an NTP server.

An interaction restoration support device that supports restoration of interactions for interactions between the plurality of users in a virtual space where a plurality of users participate,
Receives restoration information from the restoration request user who performed the interaction restoration,
And determining a restoration time of a user other than the plurality of requesting users among the plurality of users according to the restoration information, and requesting the other user to restore an interaction to the determined restoration time.

The method of claim 6,
The restoration information includes information on the restoration time of the restoration requesting user,
Determining the restoration time of the other user,
If the recovery time of the user request to reclaim the n-th point in time (t _n), all of the interaction of the n-th point in time (t _n) of the n-th ₊₁ time performed after the (t _{n + 1)} with respect to the other users Interaction restoration support apparatus including invalidating.

The method of claim 7,
Determining the restoration time of the other user,
When the said other user interaction to perform the n-th point in time (t _n), and to the n-th point in time (t _n) determining the time of restoration of the other users,
If the other user has not performed an interaction in the n-th point in time (t _n), interaction restore enabled device that includes determining a restore point of another user to the previous point in the n-th point in time (t _n).

The method of claim 6,
The interaction restoration support device,
Before receiving the restoration information from the restoration requesting user who performed the interaction restoration, further collecting interaction type information and time series information of the plurality of users,
The restoring time of the other user is determined based on the collected interaction type information and time-series information.

The method of claim 9,
The apparatus for supporting interaction restoration, characterized in that the time is synchronized with the interaction type information and time series information of the plurality of users through an NTP server.

A virtual space providing device that provides a virtual space to a plurality of users;
An input device for recognizing at least some of the bodies of the plurality of users and reflecting them in the virtual space;
An output device that outputs the virtual space and provides it to the plurality of users;
An interaction history storage unit for storing the interactions of the plurality of users; And
It collects the interaction type information and time series information of the plurality of users, receives restoration information from the restoration requesting user who performed the interaction restoration, and according to the restoration information, a user other than the plurality of users among the plurality of users A system for providing a virtual space including an interaction restoration support device that determines a restoration time and requests the other user to restore an interaction to the determined restoration time.