KR20220083553A

KR20220083553A - 홀로렌즈를 위한 압축된 4d 메쉬 데이터 전송 및 디코딩 방법

Info

Publication number: KR20220083553A
Application number: KR1020210061711A
Authority: KR
Inventors: 김성제; 김유라; 김제우; 김명균
Original assignee: 한국전자기술연구원
Priority date: 2020-12-11
Filing date: 2021-05-13
Publication date: 2022-06-20

Abstract

홀로렌즈를 위한 압축된 4D 메쉬 데이터 전송 및 디코딩 방법이 제공된다. 본 발명의 실시예에 따른 AR 서비스 방법은, 복원서버가 AR 서비스를 위한 압축된 메쉬 데이터를 전송하면, AR 디바이스가 복원서버에 의해 전송된 압축된 메쉬 데이터를 수신하여 디코딩한다. 이에 의해, 중계서버 없이 홀로포테이션 시스템을 구현할 수 있고, 제한된 네트워크 대역폭에서 여러 대의 홀로렌즈들이 4D 메쉬 데이터를 동시에 실시간으로 수신하여 렌더링할 수 있게 된다.

Description

홀로렌즈를 위한 압축된 4D 메쉬 데이터 전송 및 디코딩 방법{Encoded 4D mesh data transmission and decoding method for hololenses}

본 발명은 홀로포테이션 및 홀로렌즈 관련 기술에 관한 것으로, 더욱 상세하게는 한정된 네트워크 상황에서 네트워크를 효율적으로 사용하기 위하여 대용량 4D 메쉬 데이터를 압축하여 홀로렌즈에 전송하고 홀로렌즈에서 수신하여 디코딩하기 위한 방법 및 시스템에 관한 것이다.

1) 4D 메쉬 데이터의 용량

3D 메쉬 데이터는 기본적으로 모델을 구성하는 vertex의 위치정보들과 각 vertex의 color정보, 그리고 vertex간의 연결 정보인 face 정보를 포함하고 있다. 1개 vertex는 3개 축을 기준으로 한 float형 위치 정보와 RGB 값으로 정의되어 위치 float형 4byte * 3개 축 = 12byte 와 컬러 uchar형 1byte *3 채널 = 3byte, 최소 15byte 가 필요하다. 1개 메쉬를 정의하기 위해서는 최소 3개의 vertex가 필요하며, 이들의 연결정보는 uint32형 4byte * 3개 vertex index = 12byte이다. 따라서, 1개 메쉬를 정의 하기 위해서는 최소 57 byte가 필요하다.

보통 저품질의 3D 메쉬 컨텐츠들은 5000개 정도의 메쉬로 구성되며 고품질의 경우 200만개 이상사용하기도 한다. 4D 메쉬 데이터는 3D 메쉬 데이터가 실시간(25fps이상)으로 이루어진 데이터를 말한다.

2) 홀로렌즈의 전송 한계

Microsoft에서 선보인 홀로렌즈는 안경처럼 얼굴에 착용하여 렌즈 밖의 현실과 렌즈 안의 투명창에 렌더링되는 가상 이미지를 혼합하여 보여주는 혼합 현실 방식을 구현한 기기이다.

2016년 홀로렌즈1 이후 2019년 성능이 향상된 홀로렌즈2가 출시되었다. 하지만 여전히 Wi-Fi 방식의 데이터 전송 방식과 스냅드래곤 모바일 Soc의 연산 성능으로 3D메쉬 데이터를 실시간으로 전송 받아 렌더링 할 수 없다.

3) 홀로렌즈에서 4D 데이터를 수신하기 위한 중계서버

1)과 2)의 사유로 홀로포테이션을 위해 기존 시스템에서는 도 1에 도시된 바와 같이 4D 메쉬 생성/압축 기능이 있는 복원서버(10)에서 네트워크들(20,30)과 중계기(40)를 통해 중계서버(50)로 압축된 4D 메쉬 데이터를 전송하고, 중계서버(50)에서 이를 디코딩하여 홀로렌즈(50)로 전송하였다.

즉, 홀로렌즈(60)의 앞 단에 압축 4D 메쉬 데이터를 수신하여 디코딩 한 후 홀로렌즈(60)에 압축 해제된 4D 메쉬 데이터를 전송하는 중계서버(50)를 사용하고 있는 것이다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 한정된 네트워크 자원을 효율적으로 활용하고 여러 대의 홀로렌즈로 4D 메쉬 데이터를 동시에 실시간으로 전송하기 위한 방안으로, 홀로렌즈를 위한 압축된 4D 메쉬 데이터 전송 및 디코딩 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, AR 서비스 방법은, 복원서버가, AR 서비스를 위한 압축된 메쉬 데이터를 전송하는 단계; AR 디바이스가, 복원서버에 의해 전송된 압축된 메쉬 데이터를 수신하는 단계; AR 디바이스가, 수신한 메쉬 데이터를 디코딩하는 단계;를 포함한다.

수신 단계는, 외부 네트워크를 통해 복원서버와 연결된 내부 네트워크의 공유기를 통해 압축된 메쉬 데이터를 수신할 수 있다.

수신 단계는, 압축된 메쉬 데이터를 디코딩하여 전송하는 중계서버를 경유하지 공유기로부터 직접 압축된 메쉬 데이터를 수신할 수 있다.

AR 디바이스 이외에 내부 네트워크에 연결된 다른 AR 디바이스들도 공유기를 통해 압축된 메쉬 데이터를 수신할 수 있다.

AR 디바이스가, 디코딩한 메쉬 데이터를 렌더링하는 단계;를 더 포함할 수 있다.

수신 단계, 디코딩 단계 및 렌더링 단계는, AR 디바이스에서 병렬 쓰레딩 구조로 분리되어 수행될 수 있다. 그리고, 압축된 메쉬 데이터는, NAL Unit 구조일 수 있다.

한편, 본 발명의 다른 실시예에 따른, AR 서비스 시스템은, AR 서비스를 위한 압축된 메쉬 데이터를 전송하는 복원서버; 및 복원서버에 의해 전송된 압축된 메쉬 데이터를 수신하고, 수신한 메쉬 데이터를 디코딩하는 AR 디바이스;를 포함한다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 홀로렌즈로 직접 압축된 4D 메쉬 데이터를 전송하고 홀로렌즈에서 압축된 4D 메쉬 데이터를 디코딩 하도록 함으로써, 중계서버 없이 홀로포테이션 시스템을 구현할 수 있게 된다.

또한, 본 발명의 실시예들에 따르면, 한정된 네트워크 자원을 효율적으로 활용할 수 있으며, 특히 제한된 네트워크 대역폭에서 여러 대의 홀로렌즈들이 4D 메쉬 데이터를 동시에 실시간으로 수신하여 렌더링할 수 있게 된다.

도 1은 기존의 중계서버를 이용한 홀로포테이션 시스템,
도 2는 본 발명의 일 실시예에 따른 홀로포테이션 시스템을 도시한 도면,
도 3은 본 발명의 다른 실시예에 따른 홀로포테이션 시스템을 도시한 도면,
도 4는 홀로렌즈의 수신, 압축 4D 메쉬 디코딩, 렌더링 병렬 처리 방식을 도시한 도면,
도 5는 압축 4D 메쉬 데이터 전송을 위한 NAL Unit 구조,
도 6은 본 발명의 다른 실시예에 따른 홀로포테이션 방법의 설명에 제공되는 흐름도,
도 7은, 도 2에 도시된 홀로렌즈의 블럭도이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

초실감 4D 서비스를 위해서는 4D 메쉬 데이터의 전송이 필수적이다. 하지만 홀로렌즈에서 사용하고 있는 Wi-Fi 방식의 데이터 전송은 용량의 한계로 인해 대용량의 4D 데이터를 실시간으로 전송 받기는 어렵다.

본 발명의 실시예에서는 네트워크 자원의 효과적인 사용을 위한 홀로포테이션 시스템을 제시한다. 본 발명의 실시예에 따른 홀로포테이션 시스템은 홀로렌즈가 중계서버 없이 복원서버로부터 압축된 4D 메쉬 데이터를 직접 수신하고 디코딩하는 구조/방법을 채택한다.

홀로렌즈가 대용량 4D 메쉬 데이터를 압축된 상태로 직접 수신하여 디코딩하는 것은 한정된 네트워크 자원을 효율적으로 사용하고, 여러 대의 홀로렌즈들이 동시에 실시간으로 데이터를 수신하여 렌더링할 수 있도록 하기 위함이다. 또한 이에 의해 중계서버도 필요 없게 된다.

1. 압축 4D 메쉬 데이터 전송/수신 구조

도 2는 본 발명의 일 실시예에 따른 홀로포테이션 시스템을 도시한 도면이다. 도시된 바와 같이, 본 발명의 실시예에 따른 홀로포테이션 시스템은, 복원서버(110), 외부 네트워크(120), 내부 네트워크(130), 공유기(140) 및 홀로렌즈(150)를 포함하여 구성된다.

본 발명의 실시예에서는, 도 2에 도시된 바와 같이, 중계서버를 사용하지 않고, 홀로렌즈(150)에서 직접 압축된 4D 메쉬 데이터를 수신한다.

이에 따라, 내부 네트워크(130)의 공유기(140)에서 전달되는 데이터는 오직 압축된 4D 메쉬 데이터 뿐이므로, 도 1에 도시된 기존의 홀로포테이션 시스템에 비해 네트워크 트래픽이 현저히 낮아지게 된다.

이에 따라, 도 3에 도시된 바와 같이, 내부 네트워크(130) 안에서 여러 대의 홀로렌즈들(150, 150-1, 150-2)로 압축된 4D 메쉬 데이터를 실시간으로 전송할 수 있게 된다.

또한, 홀로렌즈(150)의 내부적으로는 렌더링 연산에 수신을 위한 연산이 간섭되지 않기 위하여, 도 4에 도시된 바와 같이, 병렬 쓰레딩 구조를 사용하여 데이터 수신, 압축 4D 메쉬 디코딩, 렌더링을 분리한다.

한편, 압축 4D 메쉬 데이터 전송시 전송 스트림 형식은 H.264에서 사용하는 NAL Unit 구조를 활용한 도 5와 같은 형식으로 전송한다.

2. 홀로렌즈용 압축 4D 메쉬 데이터 디코더

홀로렌즈는, 도 5의 NAL Unit 구조 데이터를 수신하면, EBSP(Encapsulate Byte Sequence Payload) 스트림을 얻을 수 있는데, 이를 디코딩 해서 RBSP(Raw Byte Sequence Payload) 스트림으로 변경한 후 4D 메쉬 디코더로 디코딩을 수행한다.

EBSP-RBSP 디코딩은 H.264에서 사용하는 것과 동일한 방식으로 0x000003을 0x0000으로 대체하는 방식으로 수행한다. 디코더는 RBSP 스트림을 4D 메쉬 디코더와 동일한 방식으로 디코딩을 수행한다.

한편, 디코더는 홀로렌즈용 플랫폼으로 마이그레이션해서 사용한다. 마이그레이션된 디코딩 모듈을 Unity Plug-in으로 만들기 위해서는 C# Unsafe 코드의 fixed 키워드를 이용해 고정된 메모리를 사용해야 한다. 이 고정된 메모리에 디코딩이 완료된 4D 메쉬 데이터를 저장하고, 이를 Unity용 Mesh로 변환하여 렌더링을 수행한다.

3. 홀로포테이션 방법

도 6은 본 발명의 다른 실시예에 따른 홀로포테이션 방법의 설명에 제공되는 흐름도이다.

먼저 복원서버(110)가 홀로포테이션 서비스를 위한 압축된 4D 메쉬 데이터를 외부 네트워크(120)를 통해 내부 네트워크(130)로 전송한다(S210).

그러면, 홀로렌즈(150)는 S210단계에서 복원서버(110)에 의해 전송된 압축된 4D 메쉬 데이터를 수신한다(S220). S220단계에서, 홀로렌즈(150)는 내부 네트워크(130)의 공유기(140)를 통해 압축된 4D 메쉬 데이터를 수신한다.

S220단계에서는, 압축된 4D 메쉬 데이터를 디코딩하여 전송하는 중계서버를 경유하지 않고, 홀로렌즈(150)가 공유기(140)로부터 직접 압축된 4D 메쉬 데이터를 수신한다.

한편, S220단계에서는, 홀로렌즈(150) 이외에 내부 네트워크(130)에 연결된 다른 홀로렌즈들(150-1, 150-2)도 공유기(140)를 통해 압축된 4D 메쉬 데이터를 수신할 수 있다.

이후, 홀로렌즈(150)는 S220단계에서 수신한 4D 메쉬 데이터를 디코딩하고(S230), S230단계에서 디코딩하여 복원된 4D 메쉬 데이터를 렌더링하여 사용자에게 제공한다(S240).

여기서, S220단계의 수신 단계, S230단계의 디코딩 단계 및 S240단계의 렌더링 단계는, 홀로렌즈(150)에서 병렬 쓰레딩 구조로 분리되어 수행된다.

4. 홀로렌즈

도 7은, 도 2에 도시된 홀로렌즈(150)의 블럭도이다. 본 발명의 실시예에 따른 홀로렌즈(150)는, 도시된 바와 같이, 통신부(151), 반투명 디스플레이(152), 프로세서(153), 입력부(154) 및 저장부(155)를 포함하여 구성된다.

통신부(151)는 중계기(140)를 통해 압축된 4D 메쉬 데이터를 수신하고, 프로세서(153)는 통신부(151)를 통해 수신된 압축된 4D 메쉬 데이터를 디코딩하고 렌더링한다.

반투명 디스플레이(152)는 렌더링되는 디코딩된 4D 메쉬 데이터를 표시한다. 입력부(154)는 사용자 명령/제스처를 입력/인식하기 위한 구성이고, 저장부(155)는 프로세서(153)가 기능하고 동작함에 있어 필요한 저장 공간을 제공한다.

지금까지, 홀로렌즈를 위한 압축 4D 메쉬 데이터 전송 및 디코딩 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.

5. 변형예

본 발명의 실시예에서는, 네트워크 자원의 효과적인 사용을 위해, 홀로렌즈가 중계서버 없이 복원서버로부터 압축된 4D 메쉬 데이터를 직접 수신하고 디코딩하는 구조/방법을 제시하였다.

이에 의해, 여러 대의 홀로렌즈들이 동시에 실시간으로 데이터를 수신하여 렌더링하는 것도 가능해지며, 중계서버도 필요 없게 된다.

한편, 위 실시예에서 언급한 홀로포테이션 서비스와 홀로렌즈는 AR 서비스와 AR 디바이스 중 하나로 언급한 것이다. 홀로포테이션 서비스와 홀로렌즈 이외의 AR 서비스와 AR 디바이스에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다.

AR 서비스와 AR 디바이스에서 나아가, VR 서비스와 VR 디바이스에도 본 발명의 기술적 사상이 확장되어 적용될 수 있음은 물론이다.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

110 : 복원서버
120 : 외부 네트워크
130 : 내부 네트워크
140 : 공유기
150, 150-1, 150-2 : 홀로렌즈

Claims

복원서버가, AR 서비스를 위한 압축된 메쉬 데이터를 전송하는 단계;
AR 디바이스가, 복원서버에 의해 전송된 압축된 메쉬 데이터를 수신하는 단계;
AR 디바이스가, 수신한 메쉬 데이터를 디코딩하는 단계;를 포함하는 것을 특징으로 하는 AR 서비스 방법.
청구항 1에 있어서,
수신 단계는,
외부 네트워크를 통해 복원서버와 연결된 내부 네트워크의 공유기를 통해 압축된 메쉬 데이터를 수신하는 것을 특징으로 하는 AR 서비스 방법.
청구항 2에 있어서,
수신 단계는,
압축된 메쉬 데이터를 디코딩하여 전송하는 중계서버를 경유하지 공유기로부터 직접 압축된 메쉬 데이터를 수신하는 것을 특징으로 하는 AR 서비스 방법.
청구항 2에 있어서,
AR 디바이스 이외에 내부 네트워크에 연결된 다른 AR 디바이스들도 공유기를 통해 압축된 메쉬 데이터를 수신하는 것을 특징으로 하는 AR 서비스 방법.
청구항 1에 있어서,
AR 디바이스가, 디코딩한 메쉬 데이터를 렌더링하는 단계;를 더 포함하는 것을 특징으로 하는 AR 서비스 방법.
청구항 5에 있어서,
수신 단계, 디코딩 단계 및 렌더링 단계는,
AR 디바이스에서 병렬 쓰레딩 구조로 분리되어 수행되는 것을 특징으로 하는 AR 서비스 방법.
청구항 1에 있어서,
압축된 메쉬 데이터는,
NAL Unit 구조인 것을 특징으로 하는 AR 서비스 방법.
AR 서비스를 위한 압축된 메쉬 데이터를 전송하는 복원서버; 및
복원서버에 의해 전송된 압축된 메쉬 데이터를 수신하고, 수신한 메쉬 데이터를 디코딩하는 AR 디바이스;를 포함하는 것을 특징으로 하는 AR 서비스 시스템.