[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR102483905B1 - Method and System for generating virtual performance - Google Patents

Method and System for generating virtual performance Download PDF

Info

Publication number
KR102483905B1
KR102483905B1 KR1020220071245A KR20220071245A KR102483905B1 KR 102483905 B1 KR102483905 B1 KR 102483905B1 KR 1020220071245 A KR1020220071245 A KR 1020220071245A KR 20220071245 A KR20220071245 A KR 20220071245A KR 102483905 B1 KR102483905 B1 KR 102483905B1
Authority
KR
South Korea
Prior art keywords
skeleton
server
virtual performance
information
dynamic information
Prior art date
Application number
KR1020220071245A
Other languages
Korean (ko)
Inventor
김지은
김민준
황태민
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020220071245A priority Critical patent/KR102483905B1/en
Priority to PCT/KR2022/018605 priority patent/WO2023243785A1/en
Application granted granted Critical
Publication of KR102483905B1 publication Critical patent/KR102483905B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

A virtual performance-creating method according to an embodiment of the present invention comprises the steps of: a) photographing an object using a photo scanning device to create a three-dimensional model of the surface and clothing of the object; b) acquiring first dynamic information including an object image by photographing a performance of the object using a plurality of cameras of a three-dimensional skeleton estimation apparatus including a plurality of cameras and a server; c) acquiring second dynamic information including a three-dimensional skeleton of the object based on the first dynamic information using the server; and d) creating virtual performance content by synthesizing the second dynamic information with the three-dimensional model in real-time using a virtual performance creation server. The system can be constructed at low costs.

Description

가상 공연 생성 방법 및 가상 공연 생성 시스템{Method and System for generating virtual performance}Virtual performance generating method and virtual performance generating system {Method and System for generating virtual performance}

본 발명은 가상 공연 생성 방법 및 가상 공연 생성 시스템에 관한 것으로, 복수의 카메라를 통해 대상물에 대한 움직임을 3차원으로 캡쳐한 데이터와, 사전에 구축해 놓은 대상물의 외형 및 의상에 관한 3차원 모델 간의 합성을 통해 실시간으로 3차원 실사 디지털화할 수 있고, 엣지 장치(edge device; 이하, '2차원 스켈레톤 추정 장치'라고도 함)를 통해 시스템을 경량화함으로써 이동형 촬영이 가능한 가상 공연 생성 방법 및 가상 공연 생성 시스템에 관한 것이다. The present invention relates to a method for generating a virtual performance and a system for generating a virtual performance, which is a synthesis between data obtained by capturing movement of an object in three dimensions through a plurality of cameras and a pre-constructed three-dimensional model of the appearance and clothing of the object. 3D real-time digitization through real-time, and a virtual performance generation method and virtual performance generation system capable of mobile shooting by lightening the system through an edge device (hereinafter referred to as a 'two-dimensional skeleton estimation device'). it's about

최근, 확장 현실 서비스 및 비대면 공연을 실현하기 위해, 가상 공연 생성 방법 및 가상 공연 생성 시스템에 대한 수요가 증가하고 있다. Recently, in order to realize extended reality services and non-face-to-face performances, demands for virtual performance generating methods and virtual performance generating systems are increasing.

종래의 가상 공연 생성 시스템으로서, 중력 센서 또는 마커(marker)가 부착된 특수한 의상을 입은 대상물에 대한 움직임을 캡쳐하는 시스템이 있다. 이러한 시스템은 역동적/세부적인 움직임을 캡쳐할 수 있으나, 대상물의 외형 및 의상에 대한 움직임을 모사할 수 없는 문제점이 있다. As a conventional virtual performance generating system, there is a system for capturing the motion of an object wearing a special costume to which a gravity sensor or a marker is attached. These systems can capture dynamic/detailed movements, but have a problem in that they cannot simulate the appearance of objects and movements of clothes.

또한, 종래의 가상 공연 생성 시스템으로서, 복수의 카메라의 각각이 RGB 센서 및 깊이 측정 센서를 구비하고, RGB 센서로부터 얻어진 이미지와 깊이 측정 센서로부터 얻어진 이미지를 합성함으로써 대상물에 대한 실사화가 가능한 볼류메트릭(volumetric) 시스템이 있다. 이러한 시스템은 고해상도의 3차원 모델을 복원할 수 있으나, 다량의 센서가 필요하기 때문에 구축 비용이 높고, 이동이 곤란한 문제점이 있다. 또한, 촬영한 이미지를 실질적으로 그대로 이용하여 3차원 이미지를 생성하기 때문에, 서버에서의 연산 부하가 매우 높으므로 실시간으로 3차원 가상 공연 콘텐츠를 생성하는 데에 한계가 있는 문제점이 있다. In addition, as a conventional virtual performance generating system, each of a plurality of cameras is provided with an RGB sensor and a depth measuring sensor, and by synthesizing an image obtained from the RGB sensor and an image obtained from the depth measuring sensor, a volumetric image capable of realizing an object ( There is a volumetric system. Such a system can restore a high-resolution 3D model, but has problems in that construction cost is high and movement is difficult because a large number of sensors are required. In addition, since the 3D image is generated by using the captured image as it is, the calculation load on the server is very high, so there is a limitation in generating 3D virtual performance content in real time.

혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법에 관한 종래기술인 특허문헌 1(한국공개특허공보 제10-2015-0105069호)이 개시되어 있다. 이러한 평면 영상 입체화 합성기법의 경우, 이미지 프로세싱이 가능한 PC와 같은 통신 단말(서버)은 복수의 카메라로부터 수신된 동영상 정보로부터 동일한 촬영 시간에 해당하는 이미지 정보들을 추출하는 단계, 추출된 이미지 정보들을 가상의 3차원 공간에 정렬시키는 단계, 및 우측 이미지 정보를 이용하여 중앙 이미지 정보의 우측 영역을 굴곡시키고, 좌측 이미지 정보를 이용하여 중앙 이미지 정보의 좌측 영역을 굴곡시키는 단계를 수행한다. 즉, PC와 같은 단일 서버가 카메라로부터 수신된 이미지를 실질적으로 그대로 이용하여 3차원 가상 공연 콘텐츠를 생성하기 때문에, 단일 서버에서의 연산 부하가 매우 높으므로 실시간으로 3차원 가상 공연 콘텐츠를 생성하는 데에 한계가 있는 문제점이 있다. Patent Document 1 (Korean Laid-Open Patent Publication No. 10-2015-0105069), which is a prior art related to a flat image stereoscopic synthesis technique for a mixed reality virtual performance system, is disclosed. In the case of this flat image stereoscopic synthesis technique, a communication terminal (server) such as a PC capable of image processing extracts image information corresponding to the same shooting time from moving image information received from a plurality of cameras, and converts the extracted image information into a virtual image. The steps of aligning in the 3D space of , and bending the right area of the center image information using the right image information and bending the left area of the center image information using the left image information are performed. That is, since a single server such as a PC generates 3D virtual performance content by using the image received from the camera as it is, the computational load on the single server is very high, making it difficult to generate 3D virtual performance content in real time. There is a problem with limitations.

한국공개특허공보 제10-2015-0105069호Korean Patent Publication No. 10-2015-0105069

본 발명의 목적은, 대상물의 움직임 및 외형을 3차원으로 실사화하고, 공연 장소(촬영 장소)마다 이동해야 하는 장치를 경량화할 수 있으며, 실시간으로 3차원 가상 공연 콘텐츠를 생성할 수 있는 가상 공연 생성 방법 및 가상 공연 생성 시스템을 제공하는 데에 있다. An object of the present invention is to make the movement and appearance of an object realistically three-dimensional, to reduce the weight of a device that must be moved to each performance place (shooting place), and to generate three-dimensional virtual performance content in real time. It is to provide a generating method and a virtual performance generating system.

본 발명의 다른 목적은, 2차원 스켈레톤 추정 장치인 엣지 장치를 이용하여 서버에서의 연산 부하를 최소화함으로써, 공연을 촬영한 영상을 처리하기 위한 별도의 미디어 서버를 구축할 필요가 없으므로, 저비용으로 시스템을 구축하고 시스템의 경량화를 실현할 수 있는 가상 공연 생성 방법 및 가상 공연 생성 시스템을 제공하는 데에 있다. Another object of the present invention is to minimize the computational load on the server by using the edge device, which is a two-dimensional skeleton estimation device, so that there is no need to build a separate media server for processing the video of the performance, so that a low-cost system It is an object of the present invention to provide a virtual performance generating method and a virtual performance generating system capable of constructing and reducing the weight of the system.

상기와 같은 목적을 달성하기 위하여, 본 발명의 실시예의 일 특징에 따르는 가상 공연 생성 방법은 a) 포토 스캔 장치를 사용하여 대상물을 촬영하여 상기 대상물의 표면 및 의상에 관한 3차원 모델을 생성하는 단계; b) 복수의 카메라 및 서버를 포함하는 3차원 스켈레톤 추정 장치의 상기 복수의 카메라를 사용하여 상기 대상물의 공연을 촬영함으로써 대상물 이미지를 포함하는 제1 동적 정보를 획득하는 단계; c) 상기 서버를 사용하여 상기 제1 동적 정보에 근거하여 상기 대상물의 3차원 스켈레톤을 포함하는 제2 동적 정보를 획득하는 단계; 및 d) 가상 공연 생성 서버를 사용하여 상기 제2 동적 정보와 상기 3차원 모델을 실시간으로 합성하여 가상 공연 콘텐츠를 생성하는 단계를 포함하는 것을 특징으로 한다. In order to achieve the above object, a virtual performance generating method according to one feature of an embodiment of the present invention includes the steps of a) photographing an object using a photo scan device and generating a three-dimensional model of the object's surface and clothing. ; b) acquiring first dynamic information including an object image by photographing a performance of the object using the plurality of cameras of the 3D skeleton estimation device including a plurality of cameras and a server; c) acquiring second dynamic information including a three-dimensional skeleton of the object based on the first dynamic information using the server; and d) generating virtual performance content by synthesizing the second dynamic information and the 3D model in real time using a virtual performance generating server.

상기 일 특징에 따르는 가상 공연 생성 방법은, 상기 3차원 스켈레톤 추정 장치가 복수의 2차원 스켈레톤 추정 장치를 더 포함하고, 상기 c) 단계는 c1) 상기 복수의 2차원 스켈레톤 추정 장치 각각을 사용하여 상기 제1 동적 정보에 포함된 상기 대상물 이미지에 근거하여 상기 대상물의 2차원 스켈레톤을 구비하는 2차원 스켈레톤 정보를 포함하는 제3 동적 정보를 획득하는 단계, 및 c2) 상기 복수의 2차원 스켈레톤 추정 장치 각각을 사용하여 상기 제3 동적 정보를 상기 서버로 송신하는 단계를 포함할 수 있다. In the method for generating a virtual performance according to one feature, the 3D skeleton estimation device further includes a plurality of 2D skeleton estimation devices, and step c) comprises c1) using each of the plurality of 2D skeleton estimation devices. obtaining third dynamic information including 2D skeleton information including a 2D skeleton of the object based on the object image included in the first dynamic information; and c2) each of the plurality of 2D skeleton estimation devices. and transmitting the third dynamic information to the server using

본 발명의 실시예의 일 특징에 따르는 가상 공연 생성 시스템은 대상물을 촬영하여 상기 대상물의 표면 및 의상에 관한 3차원 모델을 생성하는 포토 스캔 장치; 상기 대상물의 공연을 촬영함으로써 대상물 이미지를 포함하는 제1 동적 정보를 획득하는 복수의 카메라, 및 상기 제1 동적 정보에 근거하여 상기 대상물의 3차원 스켈레톤을 포함하는 제2 동적 정보를 획득하는 서버를 포함하는 3차원 스켈레톤 추정 장치; 및 상기 제2 동적 정보와 상기 3차원 모델을 실시간으로 합성하여 가상 공연 콘텐츠를 생성하는 가상 공연 생성 서버를 포함하는 것을 특징으로 한다. A virtual performance generating system according to one aspect of an embodiment of the present invention includes a photo scanning device that photographs an object and creates a three-dimensional model of the object's surface and clothing; A plurality of cameras for acquiring first dynamic information including an object image by photographing a performance of the object, and a server for acquiring second dynamic information including a 3D skeleton of the object based on the first dynamic information a three-dimensional skeleton estimator comprising; and a virtual performance generating server generating virtual performance contents by synthesizing the second dynamic information and the 3D model in real time.

상기 일 특징에 따르는 가상 공연 생성 시스템은, 상기 3차원 스켈레톤 추정 장치가 복수의 2차원 스켈레톤 추정 장치를 더 포함하고, 상기 복수의 2차원 스켈레톤 추정 장치는 각각 상기 복수의 카메라 중 대응되는 카메라로부터 수신된 상기 제1 동적 정보에 포함된 상기 대상물 이미지에 근거하여 상기 대상물의 2차원 스켈레톤을 구비하는 2차원 스켈레톤 정보를 포함하는 제3 동적 정보를 획득하는 제어부, 및 상기 제3 동적 정보를 상기 서버로 송신하는 통신부를 포함할 수 있다. In the virtual performance generating system according to the one feature, the 3D skeleton estimation device further includes a plurality of 2D skeleton estimation devices, and each of the plurality of 2D skeleton estimation devices is received from a corresponding camera among the plurality of cameras. A control unit for acquiring third dynamic information including 2D skeleton information having a 2D skeleton of the object based on the object image included in the first dynamic information, and the third dynamic information to the server. It may include a communication unit that transmits.

본 발명의 가상 공연 생성 방법 및 가상 공연 생성 시스템을 사용하면 다음과 같은 효과가 달성된다. The following effects are achieved by using the virtual performance generating method and virtual performance generating system of the present invention.

1. 대상물의 움직임 및 외형을 3차원으로 실사화하고, 공연 장소(촬영 장소)마다 이동해야 하는 장치를 경량화할 수 있으며, 실시간으로 3차원 가상 공연 콘텐츠를 생성할 수 있다. 1. The movement and appearance of an object can be made into a 3D live action, devices that must be moved to each performance place (filming location) can be lightened, and 3D virtual performance content can be created in real time.

2. 2차원 스켈레톤 추정 장치인 엣지 장치를 이용하여 서버에서의 연산 부하를 최소화함으로써, 공연을 촬영한 영상을 처리하기 위한 별도의 미디어 서버를 구축할 필요가 없으므로, 저비용으로 시스템을 구축하고 시스템의 경량화를 실현할 수 있다. 2. By minimizing the computational load on the server by using the edge device, which is a two-dimensional skeleton estimation device, there is no need to build a separate media server to process the video of the performance, so the system can be built at low cost and weight reduction can be realized.

이하, 본 발명에 따른 가상 공연 생성 방법 및 가상 공연 생성 시스템의 바람직한 실시형태를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 블록도이다.
도 2는 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 3차원 스켈레톤 추정 장치 및 가상 공연 생성 서버를 도시하는 도이다.
도 3a는 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 포토 스캔 장치에 의해 수행되는 과정을 나타내는 도이다.
도 3b는 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 3차원 스켈레톤 추정 장치에 의해 수행되는 과정을 나타내는 도이다.
도 3c는 본 발명의 일 실시형태에 따른 가상 공연 생성 서버에 의해 생성된 가상 공연 콘텐츠를 나타내는 도이다.
도 4는 본 발명의 일 실시형태에 따른 가상 공연 생성 방법의 순서도이다.
도 5a 내지 도 5c는 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 3차원 스켈레톤 추정 장치에서의 동기화 과정을 설명하기 위한 도이다.
도 6은 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 3차원 스켈레톤 추정 장치에서의 색상 데이터가 획득되는 과정을 설명하기 위한 도이다.
도 7은 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 3차원 스켈레톤 추정 장치에서의 색상 데이터 간의 색상 유사도를 판단하는 과정을 설명하기 위한 도이다.
도 8은 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 3차원 스켈레톤 추정 장치에서의 3차원 스켈레톤 추정 과정을 설명하기 위한 도이다. Hereinafter, preferred embodiments of a virtual performance generating method and a virtual performance generating system according to the present invention will be described in detail with reference to the accompanying drawings.
1 is a block diagram of a virtual performance generating system according to an embodiment of the present invention.
2 is a diagram illustrating a 3D skeleton estimation device and a virtual performance generating server of a virtual performance generating system according to an embodiment of the present invention.
3A is a diagram illustrating a process performed by a photo scanning device of a virtual performance generating system according to an embodiment of the present invention.
3B is a diagram illustrating a process performed by a 3D skeleton estimation apparatus of a virtual performance generating system according to an embodiment of the present invention.
3C is a diagram illustrating virtual performance content generated by a virtual performance generating server according to an embodiment of the present invention.
4 is a flowchart of a virtual performance generating method according to an embodiment of the present invention.
5A to 5C are diagrams for explaining a synchronization process in a 3D skeleton estimation device of a virtual performance generating system according to an embodiment of the present invention.
6 is a diagram for explaining a process of obtaining color data in a 3D skeleton estimation device of a virtual performance generating system according to an embodiment of the present invention.
7 is a diagram for explaining a process of determining color similarity between color data in a 3D skeleton estimation apparatus of a virtual performance generating system according to an embodiment of the present invention.
8 is a diagram for explaining a 3D skeleton estimation process in a 3D skeleton estimator of a virtual performance generating system according to an embodiment of the present invention.

이하, 본 발명에 따른 가상 공연 생성 방법 및 가상 공연 생성 시스템의 바람직한 실시형태를 첨부된 도면을 참조하여 상세히 설명한다. Hereinafter, preferred embodiments of a virtual performance generating method and a virtual performance generating system according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 블록도이고, 도 2는 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 3차원 스켈레톤 추정 장치 및 가상 공연 생성 서버를 도시하는 도이다. 1 is a block diagram of a virtual performance generating system according to an embodiment of the present invention, and FIG. 2 is a diagram showing a 3D skeleton estimation device and a virtual performance generating server of the virtual performance generating system according to an embodiment of the present invention. to be.

도 3a는 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 포토 스캔 장치에 의해 수행되는 과정을 나타내는 도이다. 도 3a의 좌측은 복수의 카메라(C')에 의해 정지된 대상물(U)의 이미지를 획득하는 과정을 보여주고, 도 3a의 중앙은 복수의 카메라(C')로부터 각각 수신된 이미지를 대상물(U)의 표면 및 의상에 관한 3차원 모델로 변환하는 과정을 보여주며, 도 3a의 우측은 최종적으로 생성된 3차원 모델을 보여준다. 3A is a diagram illustrating a process performed by a photo scanning device of a virtual performance generating system according to an embodiment of the present invention. The left side of FIG. 3A shows a process of obtaining an image of a still object U by a plurality of cameras C', and the center of FIG. 3A shows images received from the plurality of cameras C', respectively. U) shows the process of converting the surface and clothing into a 3D model, and the right side of FIG. 3A shows the finally created 3D model.

도 3b는 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 3차원 스켈레톤 추정 장치에 의해 수행되는 과정을 나타내는 도이다. 도 3b의 좌측은 복수의 카메라(C1~Cn)에 의해 대상물(U)의 공연을 촬영함으로써 다시점(multi-view) 영상을 확보하는 과정을 보여주고, 도 3b의 우측은 다시점 영상으로부터 대상물(U)의 동적 영역을 획득하는 과정을 보여준다. 3B is a diagram illustrating a process performed by a 3D skeleton estimation apparatus of a virtual performance generating system according to an embodiment of the present invention. The left side of FIG. 3B shows a process of securing a multi-view image by filming the performance of the object U by a plurality of cameras C1 to Cn, and the right side of FIG. 3B shows the process of securing the object U from the multi-view image. (U) shows the process of acquiring the dynamic range.

도 3c는 본 발명의 일 실시형태에 따른 가상 공연 생성 서버에 의해 생성된 가상 공연 콘텐츠를 나타내는 도이다. 3C is a diagram illustrating virtual performance content generated by a virtual performance generating server according to an embodiment of the present invention.

도 4는 본 발명의 일 실시형태에 따른 가상 공연 생성 방법의 순서도이다. 4 is a flowchart of a virtual performance generating method according to an embodiment of the present invention.

도 5a 내지 도 5c는 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 3차원 스켈레톤 추정 장치에서의 동기화 과정을 설명하기 위한 도이다. 이와 관련하여, 도 5a는 제1 타임 슬롯(TS1)에 대한 동기화 과정을 설명하기 위한 도이고, 도 5b는 제2 타임 슬롯(TS2)에 대한 동기화 과정을 설명하기 위한 도이며, 도 5c는 제3 타임 슬롯(TS3)에 대한 동기화 과정을 설명하기 위한 도이다. 5A to 5C are diagrams for explaining a synchronization process in a 3D skeleton estimation device of a virtual performance generating system according to an embodiment of the present invention. In this regard, FIG. 5A is a diagram for explaining a synchronization process for a first time slot (TS1), FIG. 5B is a diagram for explaining a synchronization process for a second time slot (TS2), and FIG. 5C is a diagram for explaining a synchronization process for a second time slot (TS2). It is a diagram for explaining a synchronization process for 3 time slots (TS3).

도 6은 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 3차원 스켈레톤 추정 장치에서의 색상 데이터가 획득되는 과정을 설명하기 위한 도이고, 도 7은 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 3차원 스켈레톤 추정 장치에서의 색상 데이터 간의 색상 유사도를 판단하는 과정을 설명하기 위한 도이다. 6 is a diagram for explaining a process of obtaining color data in a 3D skeleton estimation device of a virtual performance generating system according to an embodiment of the present invention, and FIG. 7 is a virtual performance generation according to an embodiment of the present invention. It is a diagram for explaining a process of determining color similarity between color data in the 3D skeleton estimator of the system.

도 8은 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 3차원 스켈레톤 추정 장치에서의 3차원 스켈레톤 추정 과정을 설명하기 위한 도이다.8 is a diagram for explaining a 3D skeleton estimation process in a 3D skeleton estimator of a virtual performance generating system according to an embodiment of the present invention.

도 2 내지 도 3c 및 도 5a 내지 도 8과 함께 도 1을 참조하여, 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템(100)을 설명하면 다음과 같다. Referring to FIG. 1 together with FIGS. 2 to 3C and 5A to 8 , a virtual performance generating system 100 according to an embodiment of the present invention will be described.

가상 공연 생성 시스템(100)은 포토 스캔 장치(10), 3차원 스켈레톤 추정 장치(20), 및 가상 공연 생성 서버(VPSV)를 포함한다. 또한, 가상 공연 생성 시스템(100)은 하나 이상의 클라이언트 단말(CT1~CTk)을 더 포함할 수 있다. The virtual performance generating system 100 includes a photo scanning device 10, a 3D skeleton estimation device 20, and a virtual performance generating server (VPSV). In addition, the virtual performance generating system 100 may further include one or more client terminals CT1 to CTk.

포토 스캔 장치(10)는 대상물(U)을 촬영하여 대상물(U)의 표면 및 의상에 관한 3차원 모델을 생성한다. The photo scanning device 10 creates a 3D model of the surface and clothing of the object U by capturing the object U.

본 명세서에서, “대상물(U)”은 사람, 동물, 또는 로봇과 같은 움직임이 가능한 임의의 대상을 포함할 수 있다. “표면”은 외부에 보이는 대상물(U) 자체의 표면을 의미할 수 있다. 즉, 대상물(U)이 사람 및 동물인 경우, 표면은 피부, 머리카락(털), 및 눈을 포함할 수 있다. “의상”은 대상물(U)이 입고 있는 “옷”을 포함할 수 있으나, 이에 제한되는 것은 아니며, 대상물(U)이 착용한 모자, 장갑 및 안경, 및 대상물(U)이 사용하는 도구 중 하나 이상을 포함할 수 있다. In this specification, “object (U)” may include any object capable of movement such as a human, animal, or robot. The “surface” may mean the surface of the object U itself visible from the outside. That is, when the object U is a human or an animal, the surface may include skin, hair (fur), and eyes. “Clothes” may include, but is not limited to, “clothes” worn by the object (U), and one of a hat, gloves and glasses worn by the object (U), and a tool used by the object (U). may contain more than

포토 스캔 장치(10)는 복수의 카메라(C') 및 제어부(CO')를 포함할 수 있다. 또한, 포토 스캔 장치(10)는 통신부(CM') 및 저장부(ST') 중 하나 이상을 더 포함할 수 있다. The photo scan device 10 may include a plurality of cameras C' and a control unit CO'. In addition, the photo scan device 10 may further include one or more of a communication unit CM' and a storage unit ST'.

복수의 카메라(C')는 정지된 대상물(U)을 둘러싸도록 배치될 수 있다. 복수의 카메라(C')의 각각은 정지된 대상물(U)의 이미지를 획득할 수 있다. 제어부(CO')는 복수의 카메라(C')로부터 수신된 복수의 이미지에 근거하여 대상물(U)의 표면 및 의상에 관한 3차원 모델을 생성할 수 있다. A plurality of cameras (C') may be arranged to surround the stationary object (U). Each of the plurality of cameras C′ may acquire an image of the still object U. The controller CO' may generate a 3D model of the surface and clothes of the object U based on the plurality of images received from the plurality of cameras C'.

통신부(CM')는 3차원 모델을 가상 공연 생성 서버(VPSV)로 송신할 수 있다. 저장부(ST')는 복수의 카메라(C')로부터 수신된 복수의 이미지를 저장할 수 있다. The communication unit (CM') may transmit the 3D model to the virtual performance generating server (VPSV). The storage unit ST' may store a plurality of images received from a plurality of cameras C'.

3차원 스켈레톤 추정 장치(20)는 복수의 카메라(C1~Cn) 및 서버(SV)를 포함한다. 또한, 3차원 스켈레톤 추정 장치(20)는 복수의 2차원 스켈레톤 추정 장치(SE1~SEn)를 더 포함할 수 있다. The 3D skeleton estimation apparatus 20 includes a plurality of cameras C1 to Cn and a server SV. In addition, the 3D skeleton estimator 20 may further include a plurality of 2D skeleton estimators SE1 to SEn.

복수의 카메라(C1~Cn)는 대상물의 공연을 촬영함으로써 대상물 이미지를 포함하는 제1 동적 정보를 획득한다. "대상물 이미지를 포함하는 제1 동적 정보"는 "시간에 따라 순차적으로 나열된 복수의 대상물 이미지"를 의미할 수 있다. The plurality of cameras C1 to Cn obtain first dynamic information including an image of the object by photographing the performance of the object. "First dynamic information including an object image" may mean "a plurality of object images sequentially listed according to time".

본 명세서에서, “공연”은 “관객에게 보여주기 위한 행위”를 포함할 수 있으나, 이에 한정되는 것은 아니며, “대상물(U)의 일상적 움직임”을 포함할 수 있음에 유의하여야 한다. In this specification, it should be noted that "performance" may include "act to show to the audience", but is not limited thereto, and may include "daily movement of the object U".

서버(SV)는 제1 동적 정보에 근거하여 대상물(U)의 3차원 스켈레톤(S')을 포함하는 제2 동적 정보를 획득한다. "대상물(U)의 3차원 스켈레톤(S')을 포함하는 제2 동적 정보"는 "대상물(U)과 관련하여, 시간에 따라 순차적으로 나열된 복수의 3차원 스켈레톤(S')"을 의미할 수 있다. The server (SV) obtains the second dynamic information including the three-dimensional skeleton (S ') of the object (U) based on the first dynamic information. "Second dynamic information including the 3-dimensional skeleton (S') of the object (U)" means "a plurality of 3-dimensional skeletons (S') sequentially arranged according to time in relation to the object (U)" can

서버(SV)는 서버 제어부(SCO)를 포함한. 또한, 서버(SV)는 서버 저장부(SST) 및 서버 통신부(SCM) 중 하나 이상을 더 포함할 수 있다. 예를 들어, 서버(SV)는 로컬 서버(local server)일 수 있다.The server (SV) includes a server control unit (SCO). In addition, the server SV may further include one or more of a server storage unit SST and a server communication unit SCM. For example, the server SV may be a local server.

예를 들어, 서버 제어부(SCO)는 복수의 2차원 스켈레톤 추정 장치(SE1~SEn)로부터 각각 수신된 제3 동적 정보에 포함된 2차원 스켈레톤 정보에 근거하여 제2 동적 정보를 획득할 수 있다. 본 명세서에서, "대상물(U)의 2차원 스켈레톤 정보를 포함하는 제3 동적 정보"는 "대상물(U)과 관련하여, 시간에 따라 순차적으로 나열된 복수의 2차원 스켈레톤 정보"를 의미할 수 있다. For example, the server control unit SCO may obtain the second dynamic information based on the 2D skeleton information included in the third dynamic information received from each of the plurality of 2D skeleton estimation devices SE1 to SEn. In this specification, "third dynamic information including 2D skeleton information of the object U" may mean "a plurality of 2D skeleton information sequentially listed according to time in relation to the object U" .

서버 제어부(SCO)는 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응하는지 여부를 판단할 수 있다. 예를 들어, 이러한 판단은 서버 제어부(SCO)가 큐(queue)에 포함되어 있는 복수의 2차원 스켈레톤 정보를 꺼내어 확인함으로써 행해질 수 있다. The server control unit SCO may determine whether the time stamps of the 2D skeleton information correspond to the target time slots TS1 to TS3. For example, this determination can be made by the server control unit (SCO) taking out and checking a plurality of 2D skeleton information included in the queue.

본 명세서에서, "대상 타임 슬롯"은 "복수의 타임 슬롯(TS1~TS3) 중 동기화 과정이 수행되는 타임 슬롯"을 의미할 수 있다. In this specification, "target time slot" may mean "a time slot in which a synchronization process is performed among a plurality of time slots (TS1 to TS3)".

예를 들어, 서버 제어부(SCO)는, 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응할 때, 이러한 2차원 스켈레톤 정보의 2차원 스켈레톤(S1~Sn)을 대상 타임 슬롯(TS1~TS3)에 삽입할 수 있다. 서버 제어부(SCO)는, 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1~TS3) 전일 때, 이러한 2차원 스켈레톤 정보의 2차원 스켈레톤(S1~Sn)을 버림으로써 완전히 삭제할 수 있다. 서버 제어부(SCO)는, 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1~TS3) 후일 때, 이러한 2차원 스켈레톤 정보를 큐에 삽입할 수 있다. For example, the server control unit (SCO), when the time stamp of the two-dimensional skeleton information corresponds to the target time slot (TS1 to TS3), the two-dimensional skeleton (S1 to Sn) of the two-dimensional skeleton information to the target time slot ( TS1 to TS3) can be inserted. When the time stamp of the 2D skeleton information is before the target time slot (TS1 to TS3), the server control unit (SCO) can completely delete the 2D skeletons (S1 to Sn) of the 2D skeleton information by discarding them. The server controller (SCO) may insert the 2D skeleton information into a queue when the time stamp of the 2D skeleton information is after the target time slots (TS1 to TS3).

서버 제어부(SCO)는, 대상 타임 슬롯(TS1~TS3)에 삽입되어 있는 2차원 스켈레톤(S1~Sn)의 개수가 미리 정해진 개수 이상일 때, 대상 타임 슬롯(TS1~TS3)에 삽입되어 있는 복수의 2차원 스켈레톤(S1~Sn)에 근거하여 대상 타임 슬롯(TS1~TS3)의 3차원 스켈레톤(S')을 추정할 수 있다. 예를 들어, 도 8을 참조하면, 서버 제어부(SCO)는, DLT(Direct Linear Transform) 매트릭스 연산을 이용하여, 복수의 2차원 스켈레톤(S1~Sn)에 근거한 3차원 스켈레톤(S')을 추정할 수 있다. When the number of two-dimensional skeletons S1 to Sn inserted into the target time slots TS1 to TS3 is greater than or equal to a predetermined number, the server control unit SCO determines the plurality of skeletons inserted into the target time slots TS1 to TS3. Based on the 2D skeletons S1 to Sn, the 3D skeleton S' of the target time slots TS1 to TS3 can be estimated. For example, referring to FIG. 8 , the server control unit SCO estimates a 3D skeleton S' based on a plurality of 2D skeletons S1 to Sn using a Direct Linear Transform (DLT) matrix operation. can do.

도 5a 내지 도 5c를 참조하여, 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템(100)의 3차원 스켈레톤 추정 장치(20)에서의 동기화 과정의 일 예를 설명하면 다음과 같다. An example of a synchronization process in the 3D skeleton estimation device 20 of the virtual performance generating system 100 according to an embodiment of the present invention will be described with reference to FIGS. 5A to 5C.

먼저, 카메라(C1~Cn)의 개수(n), 2차원 스켈레톤 추정 장치(SE1~SEn)의 개수(n)에 해당되는 채널(X1~Xn)의 개수(n)가 4개라고 가정한다. 또한, 3차원 스켈레톤(S')을 추정할 수 있는 2차원 스켈레톤(S1~Sn)의 미리 정해진 개수가 2개라고 가정한다. 또한, 각각의 대상 타임 슬롯(TS1~TS3)에 대한 동기화 과정 동안, 큐에 포함되어 있는 미리 정해진 개수의 2차원 스켈레톤 정보에 대하여 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응하는지 여부를 판단한다고 가정한다. First, it is assumed that the number of channels (X 1 to X n ) (n) corresponding to the number (n) of cameras (C1 to Cn) and the number (n) of 2D skeleton estimation devices (SE1 to SEn) is four. do. In addition, it is assumed that the predetermined number of 2-dimensional skeletons (S1 to Sn) capable of estimating the 3-dimensional skeleton (S') is two. In addition, during the synchronization process for each target time slot (TS1 to TS3), it is determined whether the time stamp corresponds to the target time slot (TS1 to TS3) for a predetermined number of 2D skeleton information included in the queue. Suppose you do

도 4a를 참조하면, 대상 타임 슬롯은 제1 타임 슬롯(TS1)이고, 서버 제어부(SCO)는 대상 타임 슬롯(TS1)에 대한 동기화 과정을 수행한다. 서버 제어부(SCO)는, 큐에 포함되어 있는 미리 정해진 개수의 2차원 스켈레톤 정보에 대한 판단에 따라, 제1 내지 제4 채널(X1~X4)에 해당하는 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1)에 대응한다고 확인할 수 있다. 이러한 경우, 서버 제어부(SCO)는 제1 내지 제4 채널(X1~X4)에 해당하는 2차원 스켈레톤 정보의 2차원 스켈레톤(S1~S4)을 대상 타임 슬롯(TS1)에 삽입한다. 서버 제어부(SCO)는 대상 타임 슬롯(TS1)에 삽입되어 있는 2차원 스켈레톤(S1~S4)의 개수, 4개가 미리 정해진 개수인 2개 이상이라고 판단하고, 대상 타임 슬롯(TS1)에 삽입되어 있는 2차원 스켈레톤(S1~S4)에 근거하여 대상 타임 슬롯(TS1)의 3차원 스켈레톤(S')에 대한 추정을 수행할 수 있다. Referring to FIG. 4A, the target time slot is the first time slot TS1, and the server control unit SCO performs a synchronization process for the target time slot TS1. The server control unit (SCO) determines the time stamp of the 2D skeleton information corresponding to the first to fourth channels (X 1 to X 4 ) according to the determination of the predetermined number of 2D skeleton information included in the queue. It can be confirmed that it corresponds to the target time slot TS1. In this case, the server control unit SCO inserts the 2D skeletons S1 to S4 of the 2D skeleton information corresponding to the first to fourth channels X 1 to X 4 into the target time slot TS1. The server control unit (SCO) determines that the number of two-dimensional skeletons (S1 to S4) inserted into the target time slot (TS1) is two or more, four being a predetermined number, and inserted into the target time slot (TS1). Based on the 2-dimensional skeletons S1 to S4, estimation of the 3-dimensional skeleton S' of the target time slot TS1 may be performed.

도 4b를 참조하면, 대상 타임 슬롯은 제2 타임 슬롯(TS2)이고, 서버 제어부(SCO)는 대상 타임 슬롯(TS2)에 대한 동기화 과정을 수행한다. 서버 제어부(SCO)는, 큐에 포함되어 있는 미리 정해진 개수의 2차원 스켈레톤 정보에 대한 판단에 따라, 제2 채널(X2)에 해당하는 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS2)에 대응한다고 확인할 수 있다. 이러한 경우, 서버 제어부(SCO)는 제2 채널(X2)에 해당하는 2차원 스켈레톤 정보의 2차원 스켈레톤(S2)을 대상 타임 슬롯(TS2)에 삽입한다. 서버 제어부(SCO)는 대상 타임 슬롯(TS2)에 삽입되어 있는 2차원 스켈레톤(S2)의 개수, 1개가 미리 정해진 개수인 2개 미만이라고 판단하고, 대상 타임 슬롯(S2)의 3차원 스켈레톤(S')에 대한 추정을 정지할 수 있다. Referring to FIG. 4B, the target time slot is the second time slot TS2, and the server control unit SCO performs a synchronization process for the target time slot TS2. The server control unit (SCO), according to the determination of the predetermined number of 2-dimensional skeleton information included in the queue, the time stamp of the 2-dimensional skeleton information corresponding to the second channel (X 2 ) is the target time slot (TS2) It can be confirmed that it corresponds to . In this case, the server control unit SCO inserts the 2D skeleton S2 of the 2D skeleton information corresponding to the second channel X 2 into the target time slot TS2. The server control unit (SCO) determines that the number of two-dimensional skeletons (S2) inserted into the target time slot (TS2), one is less than two, which is a predetermined number, and the three-dimensional skeleton (S2) of the target time slot (S2) ') can be suspended.

도 4c를 참조하면, 대상 타임 슬롯은 제3 타임 슬롯(TS3)이고, 서버 제어부(SCO)는 대상 타임 슬롯(TS3)에 대한 동기화 과정을 수행한다. 서버 제어부(SCO)는, 큐에 포함되어 있는 미리 정해진 개수의 2차원 스켈레톤 정보에 대한 판단에 따라, 제1 및 제2 채널(X1, X2)에 해당하는 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS3)에 대응한다고 확인할 수 있다. 이러한 경우, 서버 제어부(SCO)는 제1 및 제2 채널(X1, X2)에 해당하는 2차원 스켈레톤 정보의 2차원 스켈레톤(S1, S2)을 대상 타임 슬롯(TS3)에 삽입한다. 서버 제어부(SCO)는 대상 타임 슬롯(TS3)에 삽입되어 있는 2차원 스켈레톤(S1, S2)의 개수, 2개가 미리 정해진 개수인 2개 이상이라고 판단하고, 대상 타임 슬롯(TS3)에 삽입되어 있는 2차원 스켈레톤(S1, S2)에 근거하여 대상 타임 슬롯(TS3)의 3차원 스켈레톤(S')에 대한 추정을 수행할 수 있다.Referring to FIG. 4C, the target time slot is the third time slot TS3, and the server control unit SCO performs a synchronization process for the target time slot TS3. The server control unit (SCO) determines the time stamps of the 2D skeleton information corresponding to the first and second channels (X 1 , X 2 ) according to the determination of the predetermined number of 2D skeleton information included in the queue. It can be confirmed that it corresponds to the target time slot TS3. In this case, the server control unit SCO inserts the 2D skeletons S1 and S2 of the 2D skeleton information corresponding to the first and second channels X 1 and X 2 into the target time slot TS3. The server control unit (SCO) determines that the number of two-dimensional skeletons (S1, S2) inserted into the target time slot (TS3) is two or more, which is a predetermined number, and is inserted into the target time slot (TS3). Based on the 2-dimensional skeletons S1 and S2, estimation of the 3-dimensional skeleton S' of the target time slot TS3 may be performed.

서버 제어부(SCO)는 복수의 2차원 스켈레톤 정보의 색상 데이터(CD) 간의 색상 유사도를 판단할 수 있다. 예를 들어, 서버 제어부(SCO)는 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응하는 복수의 2차원 스켈레톤 정보 중 색상 데이터(CD) 간의 색상 유사도가 미리 정해진 유사도를 초과하는 유사 2차원 스켈레톤 정보가 갖는 2차원 스켈레톤(S1~Sn)을 대상 타임 슬롯(TS1~TS3)에 삽입할 수 있다. The server control unit SCO may determine color similarity between color data CDs of a plurality of 2D skeleton information. For example, the server control unit (SCO) is a similar two-dimensional skeleton whose color similarity between color data (CDs) among a plurality of two-dimensional skeleton information whose time stamps correspond to target time slots (TS1 to TS3) exceeds a predetermined similarity. The two-dimensional skeletons (S1 to Sn) with information can be inserted into the target time slots (TS1 to TS3).

도 7을 참조하여, 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템(100)의 3차원 스켈레톤 추정 장치(20)에서의 색상 데이터 간의 색상 유사도를 판단하는 과정을 설명하면 다음과 같다. Referring to FIG. 7 , a process of determining color similarity between color data in the 3D skeleton estimation apparatus 20 of the virtual performance generating system 100 according to an embodiment of the present invention will be described as follows.

먼저, 제1 색상 데이터(CD1)는 제1 카메라(C1)로부터 수신된 대상물 이미지에 근거한 색상 데이터이고, 제2 색상 데이터(CD2)는 제2 카메라(C2)로부터 수신된 대상물 이미지에 근거한 색상 데이터이며, 제3 색상 데이터(CD3)는 제3 카메라(C3)로부터 수신된 대상물 이미지에 근거한 색상 데이터라고 가정한다. 또한, 제1 색상 데이터(CD1) 내지 제3 색상 데이터(CD3)는 각각 대상 타임 슬롯(TS1~TS3; 동일한 타임 슬롯)에 대응하는 제1 내지 제3 2차원 스켈레톤 정보에 구비된다고 가정한다. 또한, 색상 유사도는 평균 제곱 오차(Mean Square Error; MSE)에 의해 판단하고, 미리 정해진 오차는 k라고 가정한다. 여기서, 색상 유사도는 평균 제곱 오차의 역수로 표시될 수 있고, 미리 정해진 유사도는 1/k로 표시될 수 있다. First, the first color data CD1 is color data based on the object image received from the first camera C1, and the second color data CD2 is color data based on the object image received from the second camera C2. , and it is assumed that the third color data CD3 is color data based on the object image received from the third camera C3. Also, it is assumed that the first to third color data CD1 to CD3 are included in first to third 2-dimensional skeleton information corresponding to target time slots TS1 to TS3 (same time slot). In addition, it is assumed that the color similarity is determined by mean square error (MSE), and a predetermined error is k. Here, the color similarity may be expressed as the reciprocal of the mean square error, and the predetermined similarity may be expressed as 1/k.

예를 들어, 서버 제어부(SCO)는, 제1 색상 데이터(CD1)와 제2 색상 데이터(CD2) 간의 평균 제곱 오차가 미리 정해진 오차 k보다 작으면, 제1 색상 데이터(CD1)와 제2 색상 데이터(CD2) 간의 색상 유사도가 미리 정해진 유사도를 초과한다고 판단한다. 이러한 판단에 따라, 서버 제어부(SCO)는, 제1 색상 데이터(CD1)를 구비하는 제1 2차원 스켈레톤 정보 및 제2 색상 데이터(CD2)를 구비하는 제2 2차원 스켈레톤 정보를 유사 2차원 스켈레톤 정보로 판단하고, 이러한 유사 2차원 스켈레톤 정보가 갖는 2차원 스켈레톤(S1, S2)을 대상 타임 슬롯(TS1~TS3)에 삽입할 수 있다. For example, if the mean square error between the first color data CD1 and the second color data CD2 is smaller than a predetermined error k, the server control unit SCO determines the first color data CD1 and the second color data CD1. It is determined that the color similarity between the data CD2 exceeds a predetermined similarity. According to this determination, the server control unit SCO converts the first 2D skeleton information including the first color data CD1 and the second 2D skeleton information including the second color data CD2 into a similar 2D skeleton. information, and the 2D skeletons (S1, S2) of the similar 2D skeleton information can be inserted into the target time slots (TS1 to TS3).

또한, 서버 제어부(SCO)는, 유사 2차원 스켈레톤 정보 중 하나를 기준 2차원 스켈레톤 정보로 판단할 수 있다. In addition, the server control unit SCO may determine one of the similar 2D skeleton information as reference 2D skeleton information.

예를 들어, 서버 제어부(SCO)가 제1 2차원 스켈레톤 정보를 기준 2차원 스켈레톤 정보로 판단한다고 가정한다. 이러한 경우, 서버 제어부(SCO)는 제1 2차원 스켈레톤 정보에 구비되는 제1 색상 데이터(CD1)를 기준 색상 데이터로 판단하고, 제1 색상 데이터(CD1)와 제3 색상 데이터(CD3) 간의 색상 유사도를 판단할 수 있다. 도 7을 참조하여, 서버 제어부(SCO)는, 제1 색상 데이터(CD1)와 제3 색상 데이터(CD3) 간의 평균 제곱 오차가 미리 정해진 오차 k 이상이면, 제1 색상 데이터(CD1)와 제3 색상 데이터(CD3) 간의 색상 유사도가 미리 정해진 유사도 이하라고 판단한다. 이러한 판단에 따라, 서버 제어부(SCO)는, 제3 색상 데이터(CD3)가 구비되는 제3 2차원 스켈레톤 정보의 2차원 스켈레톤(S3)을 버림으로써 대상 타임 슬롯(TS1~TS3)에 제3 2차원 스켈레톤 정보의 2차원 스켈레톤을 삽입하지 않을 수 있다.For example, it is assumed that the server control unit SCO determines first 2D skeleton information as reference 2D skeleton information. In this case, the server control unit SCO determines the first color data CD1 included in the first 2-dimensional skeleton information as reference color data, and the color between the first color data CD1 and the third color data CD3. similarity can be judged. Referring to FIG. 7 , if the mean square error between the first color data CD1 and the third color data CD3 is greater than or equal to a predetermined error k, the server control unit SCO outputs the first color data CD1 and the third color data CD1 to the third color data CD1. It is determined that the color similarity between the color data CD3 is equal to or less than a predetermined similarity. According to this determination, the server control unit SCO discards the 2-dimensional skeleton S3 of the third 2-dimensional skeleton information provided with the third color data CD3, thereby assigning the third 2 dimensional skeleton S3 to the target time slots TS1 to TS3. A 2D skeleton of dimensional skeleton information may not be inserted.

서버 저장부(SST)는 복수의 2차원 스켈레톤 정보를 포함하는 큐를 저장할 수 있다. The server storage unit SST may store a queue including a plurality of 2D skeleton information.

서버 통신부(SCM)는 복수의 2차원 스켈레톤 추정 장치(SE1~SEn)로부터 2차원 스켈레톤 정보를 포함하는 제3 동적 정보를 수신할 수 있다. 또한, 서버 통신부(SCM)는 3차원 스켈레톤(S')을 포함하는 제2 동적 정보를 가상 공연 생성 서버(VPSV)로 송신할 수 있다. The server communication unit SCM may receive third dynamic information including 2D skeleton information from the plurality of 2D skeleton estimation devices SE1 to SEn. In addition, the server communication unit (SCM) may transmit the second dynamic information including the three-dimensional skeleton (S ') to the virtual performance generating server (VPSV).

복수의 2차원 스켈레톤 추정 장치(SE1~SEn)는 각각 제어부(CO) 및 통신부(CM)를 포함할 수 있다. 또한, 복수의 2차원 스켈레톤 추정 장치(SE1~SEn)는 각각 저장부(ST)를 더 포함할 수 있다. Each of the plurality of 2D skeleton estimation devices SE1 to SEn may include a control unit CO and a communication unit CM. In addition, each of the plurality of 2D skeleton estimation devices SE1 to SEn may further include a storage unit ST.

제어부(ST)는 복수의 카메라(C1~Cn) 중 대응되는 카메라(C1~Cn)로부터 수신된 제1 동적 정보에 포함된 대상물 이미지에 근거하여 대상물(U)의 2차원 스켈레톤(S1~Sn)을 구비하는 2차원 스켈레톤 정보를 포함하는 제3 동적 정보를 획득할 수 있다. 제어부(CO)는 딥 러닝(deep learning) 기반 인공 지능을 이용하여 대상물 이미지로부터 대상물(U)의 2차원 스켈레톤(S1~Sn)을 추정할 수 있다.The control unit ST generates the 2D skeleton S1 to Sn of the object U based on the object image included in the first dynamic information received from the corresponding cameras C1 to Cn among the plurality of cameras C1 to Cn. It is possible to obtain third dynamic information including 2-dimensional skeleton information having a. The control unit CO may estimate the 2D skeletons S1 to Sn of the object U from the object image using artificial intelligence based on deep learning.

예를 들어, 도 6을 참조하면, 제어부(CO)는 대상물 이미지에 근거하여 대상물(U)의 복수의 특징 점에 관한 색상 데이터(CD)를 생성할 수 있다. 본 명세서에서, "대상물(U)의 복수의 특징 점에 관한 색상 데이터(CD)"는 "대상물(U)의 어깨, 팔꿈치, 손, 허리, 무릎, 및 발 중 2개 이상에 대응되는 특징 점에 관한 색상 데이터"일 수 있다. For example, referring to FIG. 6 , the control unit CO may generate color data (CD) related to a plurality of feature points of the object U based on the object image. In this specification, “color data (CD) related to a plurality of feature points of the object U” refers to “feature points corresponding to two or more of the shoulder, elbow, hand, waist, knee, and foot of the object U” It may be "color data about".

본 명세서에서, 2차원 스켈레톤 정보는 "대상물(U)의 2차원 스켈레톤(S1~Sn)"을 구비한다. 또한, 2차원 스켈레톤 정보는 "타임 스탬프" 및 "대상물(U)의 복수의 특징 점에 관한 색상 데이터(CD)" 중 하나 이상을 더 구비할 수 있다. 또한, 2차원 스켈레톤 정보는 대상물(U)의 실제 이미지를 포함하지 않고, 3차원 스켈레톤(S')을 포함하지 않음에 유의하여야 한다. In this specification, the 2D skeleton information includes "the 2D skeletons S1 to Sn of the object U". In addition, the 2D skeleton information may further include one or more of "time stamp" and "color data (CD) related to a plurality of feature points of the object U". In addition, it should be noted that the 2D skeleton information does not include the actual image of the object U and does not include the 3D skeleton S'.

본 명세서에서, "타임 스탬프"는 "각각의 대상물 이미지에 대하여 카메라(C1~Cn)가 대상물 이미지를 획득한 시간"을 의미할 수 있다. 이와 관련하여, 예를 들어, 카메라(C1~Cn)가 타임 스탬프를 생성하고, 2차원 스켈레톤 추정 장치(SE1~SEn)가 이러한 타임 스탬프를 대응되는 대상물 이미지와 함께 수신함으로써, 2차원 스켈레톤 정보는 타임 스탬프를 포함할 수 있다. 예를 들어, 각각의 대상물 이미지에 대하여, "카메라(C1~Cn)가 대상물 이미지를 획득한 시간"과 "2차원 스켈레톤 추정 장치(SE1~SEn)가 대상물 이미지를 카메라(C1~Cn)로부터 수신한 시간"이 거의 차이가 없다면, "2차원 스켈레톤 추정 장치(SE1~SEn)가 대상물 이미지를 카메라(C1~Cn)로부터 수신한 시간"이 타임 스탬프로 이용될 수도 있다. In this specification, "time stamp" may mean "the time at which the cameras C1 to Cn acquire the object image for each object image". In this regard, for example, when the cameras C1 to Cn generate time stamps and the 2D skeleton estimators SE1 to SEn receive these time stamps together with the corresponding object image, the 2D skeleton information is obtained. Can include a timestamp. For example, for each object image, "the time at which the cameras C1 to Cn acquired the object image" and "the two-dimensional skeleton estimation devices SE1 to SEn receive the object image from the cameras C1 to Cn" If there is little difference in "one hour", "the time at which the 2D skeleton estimation devices SE1 to SEn receive the object images from the cameras C1 to Cn" may be used as the time stamp.

통신부(CM)는 제3 동적 정보를 서버(SV)로 송신할 수 있다. 또한, 통신부(CM)는 대응되는 카메라로(C1~Cn)부터 대상물 이미지를 포함하는 제1 동적 정보를 수신할 수 있다. The communication unit CM may transmit the third dynamic information to the server SV. Also, the communication unit CM may receive first dynamic information including an object image from the corresponding cameras C1 to Cn.

저장부(ST)는 대응되는 카메라(C1~Cn)로부터 수신된 대상물 이미지를 저장할 수 있다. The storage unit ST may store object images received from corresponding cameras C1 to Cn.

가상 공연 생성 서버(VPSV)는 대상물(U)의 3차원 스켈레톤(S')을 포함하는 제2 동적 정보와, 대상물(U)의 표면 및 의상에 관한 3차원 모델을 실시간으로 합성하여 가상 공연 콘텐츠를 생성한다. 즉, 가상 공연 콘텐츠는 시간에 따라 순차적으로 획득된 복수의 3차원 스켈레톤(S')과 3차원 모델 간의 합성물(A)을 포함할 수 있다. "제2 동적 정보와 3차원 모델을 실시간으로 합성함"은 "대상물(U)의 실제 공연이 실시간으로 가상 공연 콘텐츠로 변환될 수 있도록 제2 동적 정보와 3차원 모델을 합성함"을 의미할 수 있다. 예를 들어, 가상 공연 생성 서버(VPSV)는 웹 서버(web server)일 수 있다. The virtual performance creation server VPSV synthesizes the second dynamic information including the 3D skeleton S' of the object U and the 3D model of the surface and clothing of the object U in real time to create virtual performance content. generate That is, the virtual performance content may include a composite A between a plurality of 3D skeletons S' and a 3D model sequentially obtained over time. "Synthesizing the second dynamic information and the 3D model in real time" means "synthesizing the second dynamic information and the 3D model so that the actual performance of the object U can be converted into virtual performance content in real time". can For example, the virtual performance creation server (VPSV) may be a web server.

또한, 가상 공연 생성 서버(VPSV)는 제2 동적 정보에 근거하여 3차원 모델의 형태를 변화시킬 수 있다. 예를 들어, 가상 공연 생성 서버(VPSV)는, 제2 동적 정보에 포함된 3차원 스켈레톤(S')의 형태 및 이동 속도 중 하나 이상에 근거하여, 대상물(U)의 표면 및 의상에 관한 3차원 모델의 형태를 변화시킬 수 있다. 이에 따라, 대상물(U)의 표면 및 의상에 관한 3차원 모델은 대상물(U)의 움직임에 맞게 자연스럽게 실사화될 수 있다.In addition, the virtual performance creation server VPSV may change the shape of the 3D model based on the second dynamic information. For example, the virtual performance creation server VPSV, based on at least one of the shape and moving speed of the 3-dimensional skeleton S' included in the second dynamic information, 3 information about the surface and clothing of the object U. The shape of the dimensional model can be changed. Accordingly, the 3D model of the surface and clothing of the object U may be naturally actualized according to the movement of the object U.

가상 공연 생성 서버(VPSV)는 제어부(SCO')를 포함한다. 또한, 가상 공연 생성 서버(VPSV)는 저장부(SST') 및 통신부(SCM')를 더 포함할 수 있다. The virtual performance creation server VPSV includes a control unit SCO'. In addition, the virtual performance creation server VPSV may further include a storage unit SST' and a communication unit SCM'.

제어부(SCO')는 제2 동적 정보와 3차원 모델을 실시간으로 합성함으로써 가상 공연 콘텐츠를 생성할 수 있다. 또한, 제어부(SCO')는 제2 동적 정보에 근거하여 3차원 모델의 형태를 변화시킬 수 있다.The control unit SCO′ may generate virtual performance content by synthesizing the second dynamic information and the 3D model in real time. Also, the control unit SCO′ may change the shape of the 3D model based on the second dynamic information.

저장부(SST')는 대상물(U)의 표면 및 의상에 관한 3차원 모델을 미리 저장할 수 있다. The storage unit (SST') may store in advance a 3D model related to the surface and clothes of the object (U).

통신부(SCM')는 가상 공연 콘텐츠를 하나 이상의 클라이언트 단말(CT1~CTk)로 송신할 수 있다. 또한, 통신부(SCM')는 저장부(SST')에 미리 저장될 3차원 모델을 포토 스캔 장치(10)로부터 수신할 수 있다. The communication unit (SCM') may transmit virtual performance content to one or more client terminals (CT1 to CTk). Also, the communication unit SCM′ may receive a 3D model to be previously stored in the storage unit SST′ from the photo scan device 10 .

하나 이상의 클라이언트 단말(CT1~CTk)은 가상 공연 생성 서버(VPSV)로부터 수신된 가상 공연 콘텐츠를 표시할 수 있다. One or more client terminals CT1 to CTk may display virtual performance content received from the virtual performance creation server VPSV.

도 1 내지 도 3c 및 도 5a 내지 도 8과 함께 도 4를 참조하여, 본 발명의 일 실시형태에 따른 가상 공연 생성 방법을 설명하면 다음과 같다. Referring to FIG. 4 along with FIGS. 1 to 3C and FIGS. 5A to 8 , a method for generating a virtual performance according to an embodiment of the present invention will be described.

단계 210에서, 포토 스캔 장치(10)는 대상물(U)을 촬영하여 대상물(U)의 표면 및 의상에 관한 3차원 모델을 생성한다. In step 210, the photo scanning device 10 photographs the object U to create a 3D model of the surface and clothing of the object U.

단계 220에서, 복수의 카메라(C1~Cn) 및 서버(SV)를 포함하는 3차원 스켈레톤 추정 장치(20)의 복수의 카메라(C1~Cn)는 대상물(U)의 공연을 촬영함으로써 대상물 이미지를 포함하는 제1 동적 정보를 획득한다. In step 220, the plurality of cameras C1 to Cn of the 3D skeleton estimation apparatus 20 including the plurality of cameras C1 to Cn and the server SV captures the performance of the object U, thereby obtaining an object image. Acquire first dynamic information including:

단계 230에서, 서버(SV)는 제1 동적 정보에 근거하여 대상물(U)의 3차원 스켈레톤(S')을 포함하는 제2 동적 정보를 획득한다. In step 230, the server (SV) obtains the second dynamic information including the three-dimensional skeleton (S ') of the object (U) based on the first dynamic information.

예를 들어, 3차원 스켈레톤 추정 장치(20)는 복수의 2차원 스켈레톤 추정 장치(SE1~SEn)를 더 포함하고, 단계 230에서, 복수의 2차원 스켈레톤 추정 장치(SE1~SEn) 각각을 사용하여 제1 동적 정보에 포함된 대상물 이미지에 근거하여 대상물(U)의 2차원 스켈레톤(S1~Sn)을 구비하는 2차원 스켈레톤 정보를 포함하는 제3 동적 정보를 획득하는 단계, 및 복수의 2차원 스켈레톤 추정 장치(SE1~SEn) 각각을 사용하여 제3 동적 정보를 서버(SV)로 송신하는 단계가 수행될 수 있다. For example, the 3D skeleton estimator 20 further includes a plurality of 2D skeleton estimators SE1 to SEn, and in step 230, each of the plurality of 2D skeleton estimators SE1 to SEn is used. Acquiring third dynamic information including 2D skeleton information including 2D skeletons (S1 to Sn) of the object U based on the object image included in the first dynamic information, and a plurality of 2D skeletons. A step of transmitting the third dynamic information to the server SV using each of the estimation devices SE1 to SEn may be performed.

또한, 단계 230에서, 제3 동적 정보를 서버(SV)로 송신하는 단계 후에, 서버(SV)를 사용하여 제3 동적 정보에 포함된 2차원 스켈레톤 정보에 근거하여 제2 동적 정보를 획득하는 단계가 더 수행될 수 있다. In addition, in step 230, after the step of transmitting the third dynamic information to the server SV, obtaining second dynamic information based on the two-dimensional skeleton information included in the third dynamic information using the server SV. can be further performed.

예를 들어, 2차원 스켈레톤 정보는 타임 스탬프를 더 구비하고, 2차원 스켈레톤 정보에 근거하여 제2 동적 정보를 획득하는 단계는, 서버(SV)를 사용하여, 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응하는지 여부를 판단하는 단계를 포함할 수 있다. For example, the 2D skeleton information further includes a time stamp, and the step of acquiring the second dynamic information based on the 2D skeleton information includes the time stamp of the 2D skeleton information using the server SV. A step of determining whether the time slots TS1 to TS3 correspond to each other may be included.

예를 들어, 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응하는지 여부를 판단하는 단계 후에, 서버(SV)는, 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응할 때, 2차원 스켈레톤 정보의 2차원 스켈레톤(S1~Sn)을 대상 타임 슬롯(TS1~TS3)에 삽입할 수 있다. For example, after the step of determining whether the time stamp of the two-dimensional skeleton information corresponds to the target time slot (TS1 to TS3), the server SV determines that the time stamp of the two-dimensional skeleton information corresponds to the target time slot (TS1 to TS3). TS3), the 2D skeletons (S1 to Sn) of the 2D skeleton information can be inserted into the target time slots (TS1 to TS3).

예를 들어, 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응하는지 여부를 판단하는 단계 후에, 서버(SV)를 사용하여, 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응할 때, 2차원 스켈레톤 정보의 2차원 스켈레톤(S1~Sn)을 대상 타임 슬롯(TS1~TS3)에 삽입하는 단계, 및 서버(SV)를 사용하여, 대상 타임 슬롯(TS1~TS3)에 삽입되어 있는 2차원 스켈레톤(S1~Sn)의 개수가 미리 정해진 개수 이상일 때, 대상 타임 슬롯(TS1~TS3)에 삽입되어 있는 복수의 2차원 스켈레톤(S1~Sn)에 근거하여 대상 타임 슬롯(TS1~TS3)의 3차원 스켈레톤(S')을 추정하는 단계가 수행될 수 있다. For example, after the step of determining whether the time stamp of the two-dimensional skeleton information corresponds to the target time slot (TS1 to TS3), the server SV uses the server SV to determine whether the time stamp of the two-dimensional skeleton information corresponds to the target time slot ( TS1 to TS3), inserting the two-dimensional skeleton (S1 to Sn) of the two-dimensional skeleton information into the target time slot (TS1 to TS3), and using the server (SV), the target time slot (TS1 to TS1) When the number of 2D skeletons (S1 to Sn) inserted into the target time slot (TS1 to TS3) is greater than or equal to a predetermined number, the target time slot is determined based on the plurality of 2D skeletons (S1 to Sn) inserted into the target time slot (TS1 to TS3). A step of estimating the 3D skeleton S' of the slots TS1 to TS3 may be performed.

예를 들어, 2차원 스켈레톤 정보는 대상물(U)의 복수의 특징 점에 관한 색상 데이터(CD)를 더 구비하고, 2차원 스켈레톤 정보에 근거하여 제2 동적 정보를 획득하는 단계는 서버(SV)를 사용하여 복수의 2차원 스켈레톤 정보의 색상 데이터(CD) 간의 색상 유사도를 판단하는 단계를 포함할 수 있다. 예를 들어, 서버(SV)는 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응하는 복수의 2차원 스켈레톤 정보 중 색상 데이터(CD) 간의 색상 유사도가 미리 정해진 유사도를 초과하는 유사 2차원 스켈레톤 정보가 갖는 2차원 스켈레톤(S1~Sn)을 대상 타임 슬롯(TS1~TS3)에 삽입할 수 있다. For example, the 2D skeleton information further comprises color data (CD) regarding a plurality of feature points of the object U, and the step of obtaining the second dynamic information based on the 2D skeleton information is performed by the server SV It may include determining color similarity between color data (CDs) of a plurality of 2D skeleton information by using. For example, the server SV provides similar 2D skeleton information in which color similarity between color data CDs among a plurality of 2D skeleton information whose time stamps correspond to target time slots TS1 to TS3 exceeds a predetermined similarity. The two-dimensional skeletons (S1 to Sn) of can be inserted into the target time slots (TS1 to TS3).

단계 240에서, 가상 공연 생성 서버(VPSV)는 제2 동적 정보와 3차원 모델을 실시간으로 합성하여 가상 공연 콘텐츠를 생성한다. 또한, 단계 240에서, 제2 동적 정보에 근거하여 3차원 모델의 형태를 변화시키는 단계가 수행될 수 있다.In step 240, the virtual performance generating server VPSV synthesizes the second dynamic information and the 3D model in real time to generate virtual performance content. Also, in step 240, a step of changing the shape of the 3D model based on the second dynamic information may be performed.

본 발명의 실시예의 일 특징에 따르면, 가상 공연 생성 방법은 a) 포토 스캔 장치(10)를 사용하여 대상물(U)을 촬영하여 상기 대상물(U)의 표면 및 의상에 관한 3차원 모델을 생성하는 단계(210); b) 복수의 카메라(C1~Cn) 및 서버(SV)를 포함하는 3차원 스켈레톤 추정 장치(20)의 상기 복수의 카메라(C1~Cn)를 사용하여 상기 대상물(U)의 공연을 촬영함으로써 대상물 이미지를 포함하는 제1 동적 정보를 획득하는 단계(220); c) 상기 서버(SV)를 사용하여 상기 제1 동적 정보에 근거하여 상기 대상물(U)의 3차원 스켈레톤(S')을 포함하는 제2 동적 정보를 획득하는 단계(230); 및 d) 가상 공연 생성 서버(VPSV)를 사용하여 상기 제2 동적 정보와 상기 3차원 모델을 실시간으로 합성하여 가상 공연 콘텐츠를 생성하는 단계(240)를 포함하는 것을 특징으로 한다. 이에 따라, 대상물(U)의 움직임 및 외형을 3차원으로 실사화하고, 공연 장소(촬영 장소)마다 이동해야 하는 장치를 경량화할 수 있으며, 실시간으로 3차원 가상 공연 콘텐츠를 생성할 수 있다.According to one feature of an embodiment of the present invention, a method for generating a virtual performance includes: a) photographing an object U using a photo scan device 10 and generating a three-dimensional model of the surface and clothing of the object U; Step 210; b) by using the plurality of cameras C1 to Cn of the 3D skeleton estimation device 20 including the plurality of cameras C1 to Cn and the server SV to photograph the performance of the object U Obtaining first dynamic information comprising an image (220); c) obtaining (230) second dynamic information including a three-dimensional skeleton (S') of the object (U) based on the first dynamic information using the server (SV); and d) generating (240) virtual performance content by synthesizing the second dynamic information and the 3D model in real time using a virtual performance creation server (VPSV). Accordingly, the movement and appearance of the object U can be 3D real-life, a device that must be moved to each performance place (photographing location) can be lightened, and 3D virtual performance content can be generated in real time.

또한, 상기 3차원 스켈레톤 추정 장치(20)가 복수의 2차원 스켈레톤 추정 장치(SE1~SEn)를 더 포함하고, 상기 c) 단계는 c1) 상기 복수의 2차원 스켈레톤 추정 장치(SE1~SEn) 각각을 사용하여 상기 제1 동적 정보에 포함된 상기 대상물 이미지에 근거하여 상기 대상물(U)의 2차원 스켈레톤(S1~Sn)을 구비하는 2차원 스켈레톤 정보를 포함하는 제3 동적 정보를 획득하는 단계, 및 c2) 상기 복수의 2차원 스켈레톤 추정 장치(SE1~SEn) 각각을 사용하여 상기 제3 동적 정보를 상기 서버(SV)로 송신하는 단계를 포함할 수 있다. 이에 따라, 2차원 스켈레톤 추정 장치(SE1~SEn)인 엣지 장치를 이용하여 서버(SV)에서의 연산 부하를 최소화함으로써, 공연을 촬영한 영상을 처리하기 위한 별도의 미디어 서버를 구축할 필요가 없으므로, 저비용으로 시스템을 구축하고 시스템의 경량화를 실현할 수 있다. In addition, the 3D skeleton estimating device 20 further includes a plurality of 2D skeleton estimating devices SE1 to SEn, and step c) includes each of the plurality of 2D skeleton estimating devices SE1 to SEn. Obtaining third dynamic information including 2-dimensional skeleton information including 2-dimensional skeletons (S1 to Sn) of the object (U) based on the object image included in the first dynamic information by using, and c2) transmitting the third dynamic information to the server SV using each of the plurality of 2D skeleton estimation devices SE1 to SEn. Accordingly, by minimizing the computational load on the server (SV) using edge devices, which are 2-dimensional skeleton estimation devices (SE1 to SEn), there is no need to build a separate media server for processing the video of the performance. , it is possible to build a system at low cost and realize a light weight system.

본 발명은 첨부된 예시 도면의 바람직한 실시형태를 중심으로 도시하고 설명하였지만, 이에 한정하지 않고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 이하의 청구범위에 기재된 본 발명의 기술적 사상의 범위 내에서 다양한 형태로 실시할 수 있음은 물론이다. Although the present invention has been shown and described with reference to the preferred embodiments of the accompanying exemplary drawings, it is not limited thereto, and those skilled in the art to which the present invention pertains within the scope of the technical idea of the present invention described in the claims below. Of course, it can be implemented in various forms.

100: 가상 공연 생성 시스템 10: 포토 스캔 장치
20: 3차원 스켈레톤 추정 장치
C1~Cn, C': 카메라 U: 대상물
SE1~SEn: 2차원 스켈레톤 추정 장치 CO, CO', SCO': 제어부
CM, CM', SCM': 통신부 ST, ST', SST': 저장부
S1~Sn: 2차원 스켈레톤 CD, CD1~CD3: 색상 데이터
SV: 서버 SCO: 서버 제어부
SST: 서버 저장부 SCM: 서버 통신부
S': 3차원 스켈레톤 TS1~TS3: 타임 슬롯
VPSV: 가상 공연 생성 서버 A: 합성물
CT1~CTk: 클라이언트 단말 100: virtual performance creation system 10: photo scanning device
20: 3D skeleton estimation device
C1~Cn, C': Camera U: Object
SE1~SEn: 2D skeleton estimator CO, CO', SCO': control unit
CM, CM', SCM': communication part ST, ST', SST': storage part
S1~Sn: 2D skeleton CD, CD1~CD3: color data
SV: Server SCO: Server Control Plane
SST: server storage unit SCM: server communication unit
S': 3D skeleton TS1 to TS3: time slot
VPSV: Virtual Performance Creation Server A: Composite
CT1~CTk: Client Terminal

Claims (16)

가상 공연 생성 방법에 있어서,
a) 포토 스캔 장치를 사용하여 대상물을 촬영하여 상기 대상물의 표면 및 의상에 관한 3차원 모델을 생성하는 단계;
b) 복수의 카메라 및 서버를 포함하는 3차원 스켈레톤 추정 장치의 상기 복수의 카메라를 사용하여 상기 대상물의 공연을 촬영함으로써 대상물 이미지를 포함하는 제1 동적 정보를 획득하는 단계;
c) 상기 서버를 사용하여 상기 제1 동적 정보에 근거하여 상기 대상물의 3차원 스켈레톤을 포함하는 제2 동적 정보를 획득하는 단계; 및
d) 가상 공연 생성 서버를 사용하여 상기 제2 동적 정보와 상기 3차원 모델을 실시간으로 합성하여 가상 공연 콘텐츠를 생성하는 단계
를 포함하는 것을 특징으로 하는 가상 공연 생성 방법. In the virtual performance generating method,
a) photographing an object using a photo scan device and generating a three-dimensional model of the object's surface and clothes;
b) acquiring first dynamic information including an object image by photographing a performance of the object using the plurality of cameras of the 3D skeleton estimation device including a plurality of cameras and a server;
c) acquiring second dynamic information including a three-dimensional skeleton of the object based on the first dynamic information using the server; and
d) generating virtual performance content by synthesizing the second dynamic information and the 3D model in real time using a virtual performance generating server;
A virtual performance generating method comprising a. 제1항에 있어서, 상기 3차원 스켈레톤 추정 장치는 복수의 2차원 스켈레톤 추정 장치를 더 포함하고, 상기 c) 단계는 c1) 상기 복수의 2차원 스켈레톤 추정 장치 각각을 사용하여 상기 제1 동적 정보에 포함된 상기 대상물 이미지에 근거하여 상기 대상물의 2차원 스켈레톤을 구비하는 2차원 스켈레톤 정보를 포함하는 제3 동적 정보를 획득하는 단계, 및 c2) 상기 복수의 2차원 스켈레톤 추정 장치 각각을 사용하여 상기 제3 동적 정보를 상기 서버로 송신하는 단계를 포함하는 것을 특징으로 하는 가상 공연 생성 방법. The method of claim 1 , wherein the 3D skeleton estimator further comprises a plurality of 2D skeleton estimators, and step c) comprises c1) obtaining the first dynamic information by using each of the plurality of 2D skeleton estimators. Acquiring third dynamic information including 2D skeleton information having a 2D skeleton of the object based on the included object image, and c2) using each of the plurality of 2D skeleton estimation devices to obtain third dynamic information. 3. A virtual performance generating method comprising the step of transmitting dynamic information to the server. 제2항에 있어서, 상기 c) 단계는, 상기 c2) 단계 후에, c3) 상기 서버를 사용하여 상기 제3 동적 정보에 포함된 상기 2차원 스켈레톤 정보에 근거하여 상기 제2 동적 정보를 획득하는 단계를 더 포함하는 것을 특징으로 하는 가상 공연 생성 방법. The method of claim 2, wherein step c) comprises: after step c2), c3) obtaining the second dynamic information based on the 2-dimensional skeleton information included in the third dynamic information using the server; Virtual performance generating method characterized in that it further comprises. 제3항에 있어서, 상기 2차원 스켈레톤 정보는 타임 스탬프를 더 구비하고, 상기 c3) 단계는 c4) 상기 2차원 스켈레톤 정보의 상기 타임 스탬프가 대상 타임 슬롯에 대응하는지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 가상 공연 생성 방법. The method of claim 3, wherein the 2D skeleton information further includes a time stamp, and step c3) comprises c4) determining whether the time stamp of the 2D skeleton information corresponds to a target time slot. A method for generating a virtual performance, characterized in that. 제3항에 있어서, 상기 2차원 스켈레톤 정보는 상기 대상물의 복수의 특징 점에 관한 색상 데이터를 더 구비하고, 상기 c3) 단계는 복수의 상기 2차원 스켈레톤 정보의 상기 색상 데이터 간의 색상 유사도를 판단하는 단계를 포함하는 것을 특징으로 하는 가상 공연 생성 방법. The method of claim 3, wherein the 2D skeleton information further comprises color data related to a plurality of feature points of the object, and step c3) determines color similarity between the color data of the plurality of 2D skeleton information. A virtual performance generating method comprising the steps of: 제4항에 있어서, 상기 c3) 단계는 상기 c4) 단계 후에, c5) 상기 2차원 스켈레톤 정보의 상기 타임 스탬프가 대상 타임 슬롯에 대응할 때, 상기 2차원 스켈레톤 정보의 상기 2차원 스켈레톤을 상기 대상 타임 슬롯에 삽입하는 단계를 더 포함하는 것을 특징으로 하는 가상 공연 생성 방법.The method of claim 4, wherein step c3) converts the 2D skeleton of the 2D skeleton information to the target time slot when, after step c4), c5) the time stamp of the 2D skeleton information corresponds to the target time slot. A method for creating a virtual performance, further comprising the step of inserting into a slot. 제4항에 있어서, 상기 c3) 단계는 상기 c4) 단계 후에, c5) 상기 2차원 스켈레톤 정보의 상기 타임 스탬프가 대상 타임 슬롯에 대응할 때, 상기 2차원 스켈레톤 정보의 상기 2차원 스켈레톤을 상기 대상 타임 슬롯에 삽입하는 단계, 및 c6) 상기 대상 타임 슬롯에 삽입되어 있는 상기 2차원 스켈레톤의 개수가 미리 정해진 개수 이상일 때, 상기 대상 타임 슬롯에 삽입되어 있는 복수의 상기 2차원 스켈레톤에 근거하여 상기 대상 타임 슬롯의 3차원 스켈레톤을 추정하는 단계를 더 포함하는 것을 특징으로 하는 가상 공연 생성 방법.The method of claim 4, wherein step c3) converts the 2D skeleton of the 2D skeleton information to the target time slot when, after step c4), c5) the time stamp of the 2D skeleton information corresponds to the target time slot. inserting into a slot, and c6) when the number of the 2D skeletons inserted into the target time slot is greater than or equal to a predetermined number, the target time slot is based on the plurality of 2D skeletons inserted into the target time slot. A method for generating a virtual performance, further comprising estimating a three-dimensional skeleton of the slot. 제1항에 있어서, 상기 d) 단계는 상기 제2 동적 정보에 근거하여 상기 3차원 모델의 형태를 변화시키는 단계를 포함하는 것을 특징으로 하는 가상 공연 생성 방법. The virtual performance generating method according to claim 1, wherein step d) comprises changing the shape of the 3D model based on the second dynamic information. 가상 공연 생성 시스템에 있어서,
대상물을 촬영하여 상기 대상물의 표면 및 의상에 관한 3차원 모델을 생성하는 포토 스캔 장치;
상기 대상물의 공연을 촬영함으로써 대상물 이미지를 포함하는 제1 동적 정보를 획득하는 복수의 카메라, 및 상기 제1 동적 정보에 근거하여 상기 대상물의 3차원 스켈레톤을 포함하는 제2 동적 정보를 획득하는 서버를 포함하는 3차원 스켈레톤 추정 장치; 및
상기 제2 동적 정보와 상기 3차원 모델을 실시간으로 합성하여 가상 공연 콘텐츠를 생성하는 가상 공연 생성 서버
를 포함하는 것을 특징으로 하는 가상 공연 생성 시스템. In the virtual performance generating system,
a photo scan device that photographs an object and creates a three-dimensional model of the object's surface and clothes;
A plurality of cameras for acquiring first dynamic information including an object image by photographing a performance of the object, and a server for acquiring second dynamic information including a 3D skeleton of the object based on the first dynamic information a three-dimensional skeleton estimator comprising; and
A virtual performance generating server generating virtual performance contents by synthesizing the second dynamic information and the 3D model in real time.
A virtual performance generating system comprising a. 제9항에 있어서, 상기 3차원 스켈레톤 추정 장치는 복수의 2차원 스켈레톤 추정 장치를 더 포함하고, 상기 복수의 2차원 스켈레톤 추정 장치는 각각 상기 복수의 카메라 중 대응되는 카메라로부터 수신된 상기 제1 동적 정보에 포함된 상기 대상물 이미지에 근거하여 상기 대상물의 2차원 스켈레톤을 구비하는 2차원 스켈레톤 정보를 포함하는 제3 동적 정보를 획득하는 제어부, 및 상기 제3 동적 정보를 상기 서버로 송신하는 통신부를 포함하는 것을 특징으로 하는 가상 공연 생성 시스템. 10. The method of claim 9, wherein the 3D skeleton estimator further comprises a plurality of 2D skeleton estimators, and each of the plurality of 2D skeleton estimators includes the first dynamic image received from a corresponding camera among the plurality of cameras. Based on the object image included in the information, a control unit for obtaining third dynamic information including 2-dimensional skeleton information having a 2-dimensional skeleton of the object, and a communication unit for transmitting the third dynamic information to the server A virtual performance generating system characterized in that for doing. 제10항에 있어서, 상기 서버는 상기 복수의 2차원 스켈레톤 추정 장치로부터 각각 수신된 상기 제3 동적 정보에 포함된 상기 2차원 스켈레톤 정보에 근거하여 상기 제2 동적 정보를 획득하는 서버 제어부를 포함하는 것을 특징으로 하는 가상 공연 생성 시스템. 11. The method of claim 10, wherein the server comprises a server control unit for obtaining the second dynamic information based on the 2-dimensional skeleton information included in the third dynamic information received from each of the plurality of 2-dimensional skeleton estimation devices A virtual performance generating system, characterized in that. 제11항에 있어서, 상기 2차원 스켈레톤 정보는 타임 스탬프를 더 구비하고, 상기 서버 제어부는 상기 2차원 스켈레톤 정보의 상기 타임 스탬프가 대상 타임 슬롯에 대응하는지 여부를 판단하는 것을 특징으로 하는 가상 공연 생성 시스템. 12. The method of claim 11, wherein the 2D skeleton information further includes a time stamp, and the server controller determines whether the time stamp of the 2D skeleton information corresponds to a target time slot. system. 제11항에 있어서, 상기 2차원 스켈레톤 정보는 상기 대상물의 복수의 특징 점에 관한 색상 데이터를 더 구비하고, 상기 서버 제어부는 복수의 상기 2차원 스켈레톤 정보의 상기 색상 데이터 간의 색상 유사도를 판단하는 것을 특징으로 하는 가상 공연 생성 시스템. The method of claim 11, wherein the 2D skeleton information further comprises color data related to a plurality of feature points of the object, and the server controller determines color similarity between the color data of the plurality of 2D skeleton information. Characterized by a virtual performance generating system. 제12항에 있어서, 상기 서버 제어부는 상기 2차원 스켈레톤 정보의 상기 타임 스탬프가 대상 타임 슬롯에 대응할 때, 상기 2차원 스켈레톤 정보의 상기 2차원 스켈레톤을 상기 대상 타임 슬롯에 삽입하는 것을 특징으로 하는 가상 공연 생성 시스템. 13. The method of claim 12, wherein the server controller inserts the 2D skeleton of the 2D skeleton information into the target time slot when the time stamp of the 2D skeleton information corresponds to the target time slot. Performance creation system. 제14항에 있어서, 상기 서버 제어부는, 상기 대상 타임 슬롯에 삽입되어 있는 상기 2차원 스켈레톤의 개수가 미리 정해진 개수 이상일 때, 상기 대상 타임 슬롯에 삽입되어 있는 상기 2차원 스켈레톤에 근거하여 상기 대상 타임 슬롯의 3차원 스켈레톤을 추정하는 것을 특징으로 하는 가상 공연 생성 시스템. 15. The method of claim 14, wherein the server controller determines the target time slot based on the 2D skeletons inserted into the target time slot when the number of the 2D skeletons inserted into the target time slot is greater than or equal to a predetermined number. A virtual performance generating system characterized by estimating a three-dimensional skeleton of a slot. 제9항에 있어서, 상기 가상 공연 생성 서버는 상기 제2 동적 정보에 근거하여 상기 3차원 모델의 형태를 변화시키는 것을 특징으로 하는 가상 공연 생성 시스템.[Claim 10] The virtual performance generating system according to claim 9, wherein the virtual performance generating server changes the shape of the 3D model based on the second dynamic information.
KR1020220071245A 2022-06-13 2022-06-13 Method and System for generating virtual performance KR102483905B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220071245A KR102483905B1 (en) 2022-06-13 2022-06-13 Method and System for generating virtual performance
PCT/KR2022/018605 WO2023243785A1 (en) 2022-06-13 2022-11-23 Virtual performance generation method and virtual performance generation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220071245A KR102483905B1 (en) 2022-06-13 2022-06-13 Method and System for generating virtual performance

Publications (1)

Publication Number Publication Date
KR102483905B1 true KR102483905B1 (en) 2023-01-03

Family

ID=84924461

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220071245A KR102483905B1 (en) 2022-06-13 2022-06-13 Method and System for generating virtual performance

Country Status (2)

Country Link
KR (1) KR102483905B1 (en)
WO (1) WO2023243785A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150105069A (en) 2014-03-07 2015-09-16 장순철 Cube effect method of 2d image for mixed reality type virtual performance system
KR20200016126A (en) * 2018-08-06 2020-02-14 주식회사 포리버 Method for presenting motion by mapping of skeleton employing Augmented Reality
US20210019507A1 (en) * 2019-07-19 2021-01-21 Sri International Centimeter human skeleton pose estimation
WO2021099778A1 (en) * 2019-11-19 2021-05-27 Move Ai Ltd Real-time system for generating 4d spatio-temporal model of a real world environment
US20210390748A1 (en) * 2020-06-12 2021-12-16 Baidu Usa Llc Personalized speech-to-video with three-dimensional (3d) skeleton regularization and expressive body poses

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10460512B2 (en) * 2017-11-07 2019-10-29 Microsoft Technology Licensing, Llc 3D skeletonization using truncated epipolar lines

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150105069A (en) 2014-03-07 2015-09-16 장순철 Cube effect method of 2d image for mixed reality type virtual performance system
KR20200016126A (en) * 2018-08-06 2020-02-14 주식회사 포리버 Method for presenting motion by mapping of skeleton employing Augmented Reality
US20210019507A1 (en) * 2019-07-19 2021-01-21 Sri International Centimeter human skeleton pose estimation
WO2021099778A1 (en) * 2019-11-19 2021-05-27 Move Ai Ltd Real-time system for generating 4d spatio-temporal model of a real world environment
US20210390748A1 (en) * 2020-06-12 2021-12-16 Baidu Usa Llc Personalized speech-to-video with three-dimensional (3d) skeleton regularization and expressive body poses

Also Published As

Publication number Publication date
WO2023243785A1 (en) 2023-12-21

Similar Documents

Publication Publication Date Title
EP1433335B1 (en) 3d video conferencing system
US6573912B1 (en) Internet system for virtual telepresence
US6445815B1 (en) Measurement of depth image considering time delay
CN107818592A (en) Method, system and the interactive system of collaborative synchronous superposition
US20020158873A1 (en) Real-time virtual viewpoint in simulated reality environment
Levin Real-time target and pose recognition for 3-d graphical overlay
JP3524147B2 (en) 3D image display device
KR20190126919A (en) Generating device, generating method, and storage medium
JP2010109783A (en) Electronic camera
KR101266362B1 (en) System and method of camera tracking and live video compositing system using the same
US10154247B2 (en) Virtual reality communication systems and methods thereof
KR20230078777A (en) 3D reconstruction methods, devices and systems, media and computer equipment
JP2020065229A (en) Video communication method, video communication device, and video communication program
JP2020136882A (en) Point group data communication system, point group data transmission device, and point group data transmission method
KR100335617B1 (en) Method for synthesizing three-dimensional image
KR100560464B1 (en) Multi-view display system with viewpoint adaptation
KR102483905B1 (en) Method and System for generating virtual performance
EP3705844B1 (en) Three-dimensional dataset and two-dimensional image localisation
JP5833525B2 (en) Video communication system and video communication method
Daniilidis et al. Real-time 3d-teleimmersion
JPH03296176A (en) High-speed picture generating/displaying method
JP2014086773A (en) Video communication system and video communication method
KR102531977B1 (en) System and Method for estimating 3-dimensional skeleton
WO2023106117A1 (en) Information processing device, information processing method, and program
Tamura et al. Vision and graphics in producing mixed reality worlds

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant