KR20220083553A

KR20220083553A - Encoded 4D mesh data transmission and decoding method for hololenses

Info

Publication number: KR20220083553A
Application number: KR1020210061711A
Authority: KR
Inventors: 김성제; 김유라; 김제우; 김명균
Original assignee: 한국전자기술연구원
Priority date: 2020-12-11
Filing date: 2021-05-13
Publication date: 2022-06-20

Abstract

홀로렌즈를 위한 압축된 4D 메쉬 데이터 전송 및 디코딩 방법이 제공된다. 본 발명의 실시예에 따른 AR 서비스 방법은, 복원서버가 AR 서비스를 위한 압축된 메쉬 데이터를 전송하면, AR 디바이스가 복원서버에 의해 전송된 압축된 메쉬 데이터를 수신하여 디코딩한다. 이에 의해, 중계서버 없이 홀로포테이션 시스템을 구현할 수 있고, 제한된 네트워크 대역폭에서 여러 대의 홀로렌즈들이 4D 메쉬 데이터를 동시에 실시간으로 수신하여 렌더링할 수 있게 된다.A method for transmitting and decoding compressed 4D mesh data for a HoloLens is provided. In the AR service method according to an embodiment of the present invention, when the restoration server transmits compressed mesh data for the AR service, the AR device receives and decodes the compressed mesh data transmitted by the restoration server. Accordingly, a holoportation system can be implemented without a relay server, and multiple hololenses can simultaneously receive and render 4D mesh data in real time in a limited network bandwidth.

Description

Encoded 4D mesh data transmission and decoding method for hololenses

본 발명은 홀로포테이션 및 홀로렌즈 관련 기술에 관한 것으로, 더욱 상세하게는 한정된 네트워크 상황에서 네트워크를 효율적으로 사용하기 위하여 대용량 4D 메쉬 데이터를 압축하여 홀로렌즈에 전송하고 홀로렌즈에서 수신하여 디코딩하기 위한 방법 및 시스템에 관한 것이다.The present invention relates to technologies related to Holoportation and HoloLens, and more particularly, to compress large-capacity 4D mesh data in order to efficiently use the network in a limited network situation, transmit it to the HoloLens, and receive and decode the data in the HoloLens. It relates to methods and systems.

1) 4D 메쉬 데이터의 용량1) Capacity of 4D mesh data

3D 메쉬 데이터는 기본적으로 모델을 구성하는 vertex의 위치정보들과 각 vertex의 color정보, 그리고 vertex간의 연결 정보인 face 정보를 포함하고 있다. 1개 vertex는 3개 축을 기준으로 한 float형 위치 정보와 RGB 값으로 정의되어 위치 float형 4byte * 3개 축 = 12byte 와 컬러 uchar형 1byte *3 채널 = 3byte, 최소 15byte 가 필요하다. 1개 메쉬를 정의하기 위해서는 최소 3개의 vertex가 필요하며, 이들의 연결정보는 uint32형 4byte * 3개 vertex index = 12byte이다. 따라서, 1개 메쉬를 정의 하기 위해서는 최소 57 byte가 필요하다. 3D mesh data basically includes location information of vertices constituting the model, color information of each vertex, and face information that is connection information between vertices. One vertex is defined as float type position information and RGB values based on 3 axes, so position float type 4byte * 3 axes = 12byte and color uchar type 1byte *3 channel = 3byte, minimum 15byte is required. At least 3 vertices are required to define one mesh, and their connection information is uint32 type 4byte * 3 vertex index = 12byte. Therefore, at least 57 bytes are required to define one mesh.

보통 저품질의 3D 메쉬 컨텐츠들은 5000개 정도의 메쉬로 구성되며 고품질의 경우 200만개 이상사용하기도 한다. 4D 메쉬 데이터는 3D 메쉬 데이터가 실시간(25fps이상)으로 이루어진 데이터를 말한다.Usually, 3D mesh contents of low quality consist of about 5000 meshes, and in the case of high quality, more than 2 million meshes are used. 4D mesh data refers to data made up of 3D mesh data in real time (25 fps or more).

2) 홀로렌즈의 전송 한계2) Transmission limit of HoloLens

Microsoft에서 선보인 홀로렌즈는 안경처럼 얼굴에 착용하여 렌즈 밖의 현실과 렌즈 안의 투명창에 렌더링되는 가상 이미지를 혼합하여 보여주는 혼합 현실 방식을 구현한 기기이다.HoloLens, introduced by Microsoft, is a device that implements a mixed reality method that mixes the reality outside the lens and the virtual image rendered on the transparent window inside the lens worn on the face like glasses.

2016년 홀로렌즈1 이후 2019년 성능이 향상된 홀로렌즈2가 출시되었다. 하지만 여전히 Wi-Fi 방식의 데이터 전송 방식과 스냅드래곤 모바일 Soc의 연산 성능으로 3D메쉬 데이터를 실시간으로 전송 받아 렌더링 할 수 없다.After HoloLens 1 in 2016, HoloLens 2 with improved performance was released in 2019. However, due to the Wi-Fi data transmission method and the computational performance of the Snapdragon Mobile Soc, it is still not possible to receive and render 3D mesh data in real time.

3) 홀로렌즈에서 4D 데이터를 수신하기 위한 중계서버3) Relay server to receive 4D data from HoloLens

1)과 2)의 사유로 홀로포테이션을 위해 기존 시스템에서는 도 1에 도시된 바와 같이 4D 메쉬 생성/압축 기능이 있는 복원서버(10)에서 네트워크들(20,30)과 중계기(40)를 통해 중계서버(50)로 압축된 4D 메쉬 데이터를 전송하고, 중계서버(50)에서 이를 디코딩하여 홀로렌즈(50)로 전송하였다.For the reasons of 1) and 2), in the existing system for holoportation, the networks 20 and 30 and the repeater 40 in the restoration server 10 with a 4D mesh generation/compression function as shown in FIG. The compressed 4D mesh data is transmitted to the relay server 50 through the relay server 50 , and the relay server 50 decodes it and transmits it to the HoloLens 50 .

즉, 홀로렌즈(60)의 앞 단에 압축 4D 메쉬 데이터를 수신하여 디코딩 한 후 홀로렌즈(60)에 압축 해제된 4D 메쉬 데이터를 전송하는 중계서버(50)를 사용하고 있는 것이다.That is, the relay server 50 that receives and decodes the compressed 4D mesh data at the front end of the HoloLens 60 and transmits the decompressed 4D mesh data to the HoloLens 60 is used.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 한정된 네트워크 자원을 효율적으로 활용하고 여러 대의 홀로렌즈로 4D 메쉬 데이터를 동시에 실시간으로 전송하기 위한 방안으로, 홀로렌즈를 위한 압축된 4D 메쉬 데이터 전송 및 디코딩 방법을 제공함에 있다.The present invention has been devised to solve the above problems, and an object of the present invention is to efficiently utilize limited network resources and transmit 4D mesh data to multiple HoloLens in real time at the same time. It is to provide a method for transmitting and decoding compressed 4D mesh data for

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, AR 서비스 방법은, 복원서버가, AR 서비스를 위한 압축된 메쉬 데이터를 전송하는 단계; AR 디바이스가, 복원서버에 의해 전송된 압축된 메쉬 데이터를 수신하는 단계; AR 디바이스가, 수신한 메쉬 데이터를 디코딩하는 단계;를 포함한다.According to an embodiment of the present invention for achieving the above object, an AR service method includes: a restoration server, transmitting compressed mesh data for an AR service; Receiving, by the AR device, the compressed mesh data transmitted by the restoration server; and decoding, by the AR device, the received mesh data.

수신 단계는, 외부 네트워크를 통해 복원서버와 연결된 내부 네트워크의 공유기를 통해 압축된 메쉬 데이터를 수신할 수 있다.In the receiving step, the compressed mesh data may be received through a router of an internal network connected to the restoration server through an external network.

수신 단계는, 압축된 메쉬 데이터를 디코딩하여 전송하는 중계서버를 경유하지 공유기로부터 직접 압축된 메쉬 데이터를 수신할 수 있다.In the receiving step, the compressed mesh data may be directly received from the router via a relay server that decodes and transmits the compressed mesh data.

AR 디바이스 이외에 내부 네트워크에 연결된 다른 AR 디바이스들도 공유기를 통해 압축된 메쉬 데이터를 수신할 수 있다.In addition to the AR device, other AR devices connected to the internal network may also receive the compressed mesh data through the router.

AR 디바이스가, 디코딩한 메쉬 데이터를 렌더링하는 단계;를 더 포함할 수 있다.The method may further include, by the AR device, rendering the decoded mesh data.

수신 단계, 디코딩 단계 및 렌더링 단계는, AR 디바이스에서 병렬 쓰레딩 구조로 분리되어 수행될 수 있다. 그리고, 압축된 메쉬 데이터는, NAL Unit 구조일 수 있다.The receiving step, the decoding step, and the rendering step may be performed separately in the AR device in a parallel threading structure. And, the compressed mesh data may have a NAL unit structure.

한편, 본 발명의 다른 실시예에 따른, AR 서비스 시스템은, AR 서비스를 위한 압축된 메쉬 데이터를 전송하는 복원서버; 및 복원서버에 의해 전송된 압축된 메쉬 데이터를 수신하고, 수신한 메쉬 데이터를 디코딩하는 AR 디바이스;를 포함한다.On the other hand, according to another embodiment of the present invention, an AR service system, a restoration server for transmitting compressed mesh data for the AR service; and an AR device for receiving the compressed mesh data transmitted by the restoration server and decoding the received mesh data.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 홀로렌즈로 직접 압축된 4D 메쉬 데이터를 전송하고 홀로렌즈에서 압축된 4D 메쉬 데이터를 디코딩 하도록 함으로써, 중계서버 없이 홀로포테이션 시스템을 구현할 수 있게 된다.As described above, according to the embodiments of the present invention, the HoloPortation system can be implemented without a relay server by transmitting the compressed 4D mesh data directly to the HoloLens and decoding the compressed 4D mesh data by the HoloLens. do.

또한, 본 발명의 실시예들에 따르면, 한정된 네트워크 자원을 효율적으로 활용할 수 있으며, 특히 제한된 네트워크 대역폭에서 여러 대의 홀로렌즈들이 4D 메쉬 데이터를 동시에 실시간으로 수신하여 렌더링할 수 있게 된다.In addition, according to embodiments of the present invention, limited network resources can be efficiently utilized, and in particular, multiple HoloLens can simultaneously receive and render 4D mesh data in real time in a limited network bandwidth.

도 1은 기존의 중계서버를 이용한 홀로포테이션 시스템,
도 2는 본 발명의 일 실시예에 따른 홀로포테이션 시스템을 도시한 도면,
도 3은 본 발명의 다른 실시예에 따른 홀로포테이션 시스템을 도시한 도면,
도 4는 홀로렌즈의 수신, 압축 4D 메쉬 디코딩, 렌더링 병렬 처리 방식을 도시한 도면,
도 5는 압축 4D 메쉬 데이터 전송을 위한 NAL Unit 구조,
도 6은 본 발명의 다른 실시예에 따른 홀로포테이션 방법의 설명에 제공되는 흐름도,
도 7은, 도 2에 도시된 홀로렌즈의 블럭도이다.1 is a holoportation system using an existing relay server;
2 is a diagram illustrating a holoportation system according to an embodiment of the present invention;
3 is a view showing a holoportation system according to another embodiment of the present invention;
4 is a view showing a parallel processing method for receiving, compressed 4D mesh decoding, and rendering of HoloLens;
5 is a NAL Unit structure for compressed 4D mesh data transmission;
6 is a flowchart provided for explaining a holoportation method according to another embodiment of the present invention;
FIG. 7 is a block diagram of the HoloLens shown in FIG. 2 .

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.

초실감 4D 서비스를 위해서는 4D 메쉬 데이터의 전송이 필수적이다. 하지만 홀로렌즈에서 사용하고 있는 Wi-Fi 방식의 데이터 전송은 용량의 한계로 인해 대용량의 4D 데이터를 실시간으로 전송 받기는 어렵다.Transmission of 4D mesh data is essential for ultra-realistic 4D service. However, it is difficult to receive large-capacity 4D data in real time due to the limited capacity of the Wi-Fi method used in HoloLens for data transmission.

본 발명의 실시예에서는 네트워크 자원의 효과적인 사용을 위한 홀로포테이션 시스템을 제시한다. 본 발명의 실시예에 따른 홀로포테이션 시스템은 홀로렌즈가 중계서버 없이 복원서버로부터 압축된 4D 메쉬 데이터를 직접 수신하고 디코딩하는 구조/방법을 채택한다.An embodiment of the present invention proposes a holoportation system for effective use of network resources. The holoportation system according to an embodiment of the present invention adopts a structure/method in which HoloLens directly receives and decodes compressed 4D mesh data from a restoration server without a relay server.

홀로렌즈가 대용량 4D 메쉬 데이터를 압축된 상태로 직접 수신하여 디코딩하는 것은 한정된 네트워크 자원을 효율적으로 사용하고, 여러 대의 홀로렌즈들이 동시에 실시간으로 데이터를 수신하여 렌더링할 수 있도록 하기 위함이다. 또한 이에 의해 중계서버도 필요 없게 된다.The purpose of HoloLens directly receiving and decoding large-capacity 4D mesh data in a compressed state is to efficiently use limited network resources and to enable multiple HoloLens to simultaneously receive and render data in real time. Also, there is no need for a relay server.

1. 압축 4D 메쉬 데이터 전송/수신 구조1. Compressed 4D mesh data transmission/reception structure

도 2는 본 발명의 일 실시예에 따른 홀로포테이션 시스템을 도시한 도면이다. 도시된 바와 같이, 본 발명의 실시예에 따른 홀로포테이션 시스템은, 복원서버(110), 외부 네트워크(120), 내부 네트워크(130), 공유기(140) 및 홀로렌즈(150)를 포함하여 구성된다.2 is a diagram illustrating a holoportation system according to an embodiment of the present invention. As shown, the holoportation system according to an embodiment of the present invention is configured to include a restoration server 110 , an external network 120 , an internal network 130 , a router 140 , and a HoloLens 150 . do.

본 발명의 실시예에서는, 도 2에 도시된 바와 같이, 중계서버를 사용하지 않고, 홀로렌즈(150)에서 직접 압축된 4D 메쉬 데이터를 수신한다.In the embodiment of the present invention, as shown in FIG. 2 , the compressed 4D mesh data is directly received from the HoloLens 150 without using a relay server.

이에 따라, 내부 네트워크(130)의 공유기(140)에서 전달되는 데이터는 오직 압축된 4D 메쉬 데이터 뿐이므로, 도 1에 도시된 기존의 홀로포테이션 시스템에 비해 네트워크 트래픽이 현저히 낮아지게 된다.Accordingly, since data transmitted from the router 140 of the internal network 130 is only compressed 4D mesh data, network traffic is significantly lower than that of the conventional holoportation system shown in FIG. 1 .

이에 따라, 도 3에 도시된 바와 같이, 내부 네트워크(130) 안에서 여러 대의 홀로렌즈들(150, 150-1, 150-2)로 압축된 4D 메쉬 데이터를 실시간으로 전송할 수 있게 된다.Accordingly, as shown in FIG. 3 , compressed 4D mesh data can be transmitted in real time to a plurality of hololenses 150 , 150 - 1 , and 150 - 2 in the internal network 130 .

또한, 홀로렌즈(150)의 내부적으로는 렌더링 연산에 수신을 위한 연산이 간섭되지 않기 위하여, 도 4에 도시된 바와 같이, 병렬 쓰레딩 구조를 사용하여 데이터 수신, 압축 4D 메쉬 디코딩, 렌더링을 분리한다.In addition, in order not to interfere with the rendering operation internally of the HoloLens 150, as shown in FIG. 4, data reception, compressed 4D mesh decoding, and rendering are separated using a parallel threading structure. .

한편, 압축 4D 메쉬 데이터 전송시 전송 스트림 형식은 H.264에서 사용하는 NAL Unit 구조를 활용한 도 5와 같은 형식으로 전송한다.Meanwhile, when transmitting compressed 4D mesh data, the transport stream format is transmitted in the format shown in FIG. 5 using the NAL unit structure used in H.264.

2. 홀로렌즈용 압축 4D 메쉬 데이터 디코더2. Compressed 4D mesh data decoder for HoloLens

홀로렌즈는, 도 5의 NAL Unit 구조 데이터를 수신하면, EBSP(Encapsulate Byte Sequence Payload) 스트림을 얻을 수 있는데, 이를 디코딩 해서 RBSP(Raw Byte Sequence Payload) 스트림으로 변경한 후 4D 메쉬 디코더로 디코딩을 수행한다.When HoloLens receives the NAL Unit structure data of FIG. 5, it can obtain an EBSP (Encapsulate Byte Sequence Payload) stream, decode it, change it to an RBSP (Raw Byte Sequence Payload) stream, and perform decoding with a 4D mesh decoder do.

EBSP-RBSP 디코딩은 H.264에서 사용하는 것과 동일한 방식으로 0x000003을 0x0000으로 대체하는 방식으로 수행한다. 디코더는 RBSP 스트림을 4D 메쉬 디코더와 동일한 방식으로 디코딩을 수행한다.EBSP-RBSP decoding is performed by replacing 0x000003 with 0x0000 in the same way as used in H.264. The decoder decodes the RBSP stream in the same way as the 4D mesh decoder.

한편, 디코더는 홀로렌즈용 플랫폼으로 마이그레이션해서 사용한다. 마이그레이션된 디코딩 모듈을 Unity Plug-in으로 만들기 위해서는 C# Unsafe 코드의 fixed 키워드를 이용해 고정된 메모리를 사용해야 한다. 이 고정된 메모리에 디코딩이 완료된 4D 메쉬 데이터를 저장하고, 이를 Unity용 Mesh로 변환하여 렌더링을 수행한다.On the other hand, the decoder is used by migrating to the platform for HoloLens. To make the migrated decoding module into Unity Plug-in, you need to use fixed memory using the fixed keyword in C# Unsafe code. The decoded 4D mesh data is stored in this fixed memory, and it is converted into mesh for Unity to perform rendering.

3. 홀로포테이션 방법3. Holoportation method

도 6은 본 발명의 다른 실시예에 따른 홀로포테이션 방법의 설명에 제공되는 흐름도이다.6 is a flowchart provided to explain a holoportation method according to another embodiment of the present invention.

먼저 복원서버(110)가 홀로포테이션 서비스를 위한 압축된 4D 메쉬 데이터를 외부 네트워크(120)를 통해 내부 네트워크(130)로 전송한다(S210).First, the restoration server 110 transmits the compressed 4D mesh data for the holoportation service to the internal network 130 through the external network 120 (S210).

그러면, 홀로렌즈(150)는 S210단계에서 복원서버(110)에 의해 전송된 압축된 4D 메쉬 데이터를 수신한다(S220). S220단계에서, 홀로렌즈(150)는 내부 네트워크(130)의 공유기(140)를 통해 압축된 4D 메쉬 데이터를 수신한다.Then, the HoloLens 150 receives the compressed 4D mesh data transmitted by the restoration server 110 in step S210 (S220). In step S220 , the HoloLens 150 receives the compressed 4D mesh data through the router 140 of the internal network 130 .

S220단계에서는, 압축된 4D 메쉬 데이터를 디코딩하여 전송하는 중계서버를 경유하지 않고, 홀로렌즈(150)가 공유기(140)로부터 직접 압축된 4D 메쉬 데이터를 수신한다.In step S220 , the HoloLens 150 directly receives the compressed 4D mesh data from the router 140 without going through a relay server that decodes and transmits the compressed 4D mesh data.

한편, S220단계에서는, 홀로렌즈(150) 이외에 내부 네트워크(130)에 연결된 다른 홀로렌즈들(150-1, 150-2)도 공유기(140)를 통해 압축된 4D 메쉬 데이터를 수신할 수 있다.Meanwhile, in step S220 , other HoloLens 150 - 1 and 150 - 2 connected to the internal network 130 in addition to the HoloLens 150 may receive the compressed 4D mesh data through the router 140 .

이후, 홀로렌즈(150)는 S220단계에서 수신한 4D 메쉬 데이터를 디코딩하고(S230), S230단계에서 디코딩하여 복원된 4D 메쉬 데이터를 렌더링하여 사용자에게 제공한다(S240).Thereafter, the HoloLens 150 decodes the 4D mesh data received in step S220 (S230), and renders the 4D mesh data restored by decoding in step S230 and provides it to the user (S240).

여기서, S220단계의 수신 단계, S230단계의 디코딩 단계 및 S240단계의 렌더링 단계는, 홀로렌즈(150)에서 병렬 쓰레딩 구조로 분리되어 수행된다.Here, the receiving step of step S220, the decoding step of step S230, and the rendering step of step S240 are performed separately in the HoloLens 150 in a parallel threading structure.

4. 홀로렌즈4. HoloLens

도 7은, 도 2에 도시된 홀로렌즈(150)의 블럭도이다. 본 발명의 실시예에 따른 홀로렌즈(150)는, 도시된 바와 같이, 통신부(151), 반투명 디스플레이(152), 프로세서(153), 입력부(154) 및 저장부(155)를 포함하여 구성된다.FIG. 7 is a block diagram of the HoloLens 150 shown in FIG. 2 . HoloLens 150 according to an embodiment of the present invention, as shown, is configured to include a communication unit 151, a translucent display 152, a processor 153, an input unit 154 and a storage unit 155 .

통신부(151)는 중계기(140)를 통해 압축된 4D 메쉬 데이터를 수신하고, 프로세서(153)는 통신부(151)를 통해 수신된 압축된 4D 메쉬 데이터를 디코딩하고 렌더링한다.The communication unit 151 receives the compressed 4D mesh data through the repeater 140 , and the processor 153 decodes and renders the compressed 4D mesh data received through the communication unit 151 .

반투명 디스플레이(152)는 렌더링되는 디코딩된 4D 메쉬 데이터를 표시한다. 입력부(154)는 사용자 명령/제스처를 입력/인식하기 위한 구성이고, 저장부(155)는 프로세서(153)가 기능하고 동작함에 있어 필요한 저장 공간을 제공한다.A translucent display 152 displays the rendered decoded 4D mesh data. The input unit 154 is configured to input/recognize user commands/gestures, and the storage unit 155 provides a storage space necessary for the processor 153 to function and operate.

지금까지, 홀로렌즈를 위한 압축 4D 메쉬 데이터 전송 및 디코딩 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.So far, a preferred embodiment of the compressed 4D mesh data transmission and decoding method for HoloLens has been described in detail.

5. 변형예5. Variants

본 발명의 실시예에서는, 네트워크 자원의 효과적인 사용을 위해, 홀로렌즈가 중계서버 없이 복원서버로부터 압축된 4D 메쉬 데이터를 직접 수신하고 디코딩하는 구조/방법을 제시하였다.In an embodiment of the present invention, for effective use of network resources, a structure/method in which HoloLens directly receives and decodes compressed 4D mesh data from a restoration server without a relay server is presented.

이에 의해, 여러 대의 홀로렌즈들이 동시에 실시간으로 데이터를 수신하여 렌더링하는 것도 가능해지며, 중계서버도 필요 없게 된다.This makes it possible for multiple HoloLens to simultaneously receive and render data in real time, eliminating the need for a relay server.

한편, 위 실시예에서 언급한 홀로포테이션 서비스와 홀로렌즈는 AR 서비스와 AR 디바이스 중 하나로 언급한 것이다. 홀로포테이션 서비스와 홀로렌즈 이외의 AR 서비스와 AR 디바이스에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다.On the other hand, the holoportation service and the holo lens mentioned in the above embodiment are referred to as one of the AR service and the AR device. Of course, the technical idea of the present invention can be applied to AR services and AR devices other than the Holoportation service and HoloLens.

AR 서비스와 AR 디바이스에서 나아가, VR 서비스와 VR 디바이스에도 본 발명의 기술적 사상이 확장되어 적용될 수 있음은 물론이다.It goes without saying that the technical idea of the present invention can be extended and applied not only to AR services and AR devices, but also to VR services and VR devices.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.On the other hand, it goes without saying that the technical idea of the present invention can be applied to a computer-readable recording medium containing a computer program for performing the functions of the apparatus and method according to the present embodiment. In addition, the technical ideas according to various embodiments of the present invention may be implemented in the form of computer-readable codes recorded on a computer-readable recording medium. The computer-readable recording medium may be any data storage device readable by the computer and capable of storing data. For example, the computer-readable recording medium may be a ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, or the like. In addition, the computer-readable code or program stored in the computer-readable recording medium may be transmitted through a network connected between computers.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention as claimed in the claims In addition, various modifications are possible by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.

110 : 복원서버
120 : 외부 네트워크
130 : 내부 네트워크
140 : 공유기
150, 150-1, 150-2 : 홀로렌즈110: restore server
120: external network
130: internal network
140: router
150, 150-1, 150-2: HoloLens

Claims

Transmitting, by the restoration server, compressed mesh data for AR service;
Receiving, by the AR device, the compressed mesh data transmitted by the restoration server;
AR service method comprising the; decoding, by the AR device, the received mesh data.

The method according to claim 1,
The receiving step is
AR service method, characterized in that the compressed mesh data is received through the router of the internal network connected to the restoration server through the external network.

3. The method according to claim 2,
The receiving step is
AR service method, characterized in that the compressed mesh data is directly received from the router via a relay server that decodes and transmits the compressed mesh data.

3. The method according to claim 2,
AR service method, characterized in that other AR devices connected to the internal network in addition to the AR device also receive the compressed mesh data through the router.

The method according to claim 1,
AR service method, characterized in that it further comprises; rendering the decoded mesh data by the AR device.

6. The method of claim 5,
Receiving step, decoding step and rendering step,
AR service method, characterized in that it is performed separately in a parallel threading structure in the AR device.

The method according to claim 1,
The compressed mesh data is
AR service method, characterized in that the NAL unit structure.

A restoration server that transmits compressed mesh data for AR service; and
AR device for receiving the compressed mesh data transmitted by the restoration server, and decoding the received mesh data; AR service system comprising a.