KR101874111B1

KR101874111B1 - 가상현실영상 재생방법 및 이를 이용한 프로그램

Info

Publication number: KR101874111B1
Application number: KR1020170027851A
Authority: KR
Inventors: 김태욱; 이하람; 정덕영
Original assignee: 클릭트 주식회사
Priority date: 2017-03-03
Filing date: 2017-03-03
Publication date: 2018-07-03
Anticipated expiration: 2037-03-03
Also published as: TW202029779A; EP3422701A4; EP3422701A1; JP7196089B2; US20190005738A1; US10540826B2; JP2020509706A; CN110383821B; CN110383821A; EP3422701B1; EP3422701C0; WO2018159981A1; TW201834465A; TWI755636B; TWI681673B

Abstract

클라이언트가 서버로부터 영상프레임을 수신하는 단계, 상기 수신된 영상프레임을 제1 레이어에 할당하는 단계, 적어도 하나의 그래픽 사용자 인터페이스를 포함하는 제2 레이어를 생성하는 단계, 상기 제1 레이어 및 상기 제2 레이어를 합성하여 최종영상프레임을 생성하는 단계 및 상기 생성된 최종영상프레임을 표시하는 단계를 포함하는, 가상현실영상 재생방법이 개시된다.

Description

가상현실영상 재생방법 및 이를 이용한 프로그램 {METHOD AND PROGRAM FOR PLAYING VIRTUAL REALITY IMAGE}

본 발명은 가상현실영상 전송방법, 가상현실영상 재생방법 및 이를 이용한 프로그램에 관한 것으로, 보다 자세하게는 무선통신을 통해 높은 사양을 요구하는 가상현실 컨텐츠의 실시간 전송 및 재생을 수행하는 방법 또는 프로그램에 관한 것이다.

가상현실(VR; Virtual Reality)이란 컴퓨터를 통해 생성된 가상의 공간으로, 3차원 시각효과를 통해 현실성을 부여하는 공간이다. 가상현실 구현을 위한 기술은 사용자의 입력을 실시간으로 처리하여 현실 세계에 있는 것 같은 느낌을 받을 수 있는 기술로, 멀티미디어를 뛰어 넘는 차세대 기술이다.

가상현실 환경은 사용자에게 실감나는 몰입감을 제공함으로써 실재하는 물체를 시뮬레이션할 수 있을 뿐만 아니라 실제로 존재하지 않는 물체나 상황을 체험할 수 있게 해준다. 이러한 가상현실 환경은 여러 다양한 분야에 적용될 수 있다. 예를 들어, 자동차 설계나 시뮬레이션 실험 등의 공학 분야에서부터 의료분야, 문화 컨텐츠 분야에 이르기까지 실로 다양한 분야에서 사용되고 있다.

이러한 가상현실(VR)은 보는 관점에 따라 가상환경(Virtual Environment), 가상존재(Virtual Presence), 인공세계(Artifical World), 가상세계(Virtual World), 사이버 스페이스(Cyber space)와 같은 용어로 혼용하고 있으나, 일반적으로 컴퓨터가 만들어낸 실세계와 유사한 3차원 가상세계를 사용자에게 제공하고, 그 가상세계와 실시간으로 자유롭게 조작할 수 있는 입력수단과 사용자의 조작에 대응하여 실제적인 감각을 제공하는 감각궤환(Sensory feedback) 수단을 제공하므로써 인공적인 체험과 경험을 할 수 있도록 해주는 기술이라 할 수 있다.

최근 기술발전에 따라 가상현실 컨텐츠를 이용할 수 있는 장치들도 다수 등장하고 있다. 기존에는 고사양의 가상현실 영상을 생성하기 위해 데스크톱 등의 PC에 케이블로 VR재생 장치를 연결한 채 사용자가 착용하여 이용하였다. 그러나 이러한 경우, 케이블에 의해 VR장치를 착용하고 움직일 수 있는 행동반경이 제한되며, VR장치를 착용하여 외부를 확인할 수 없는 상태에서 케이블에 걸려 넘어지는 사고 등이 발생할 수 있는 문제가 있었다. 또한, PC가 있는 경우만 VR장치를 이용하여 가상현실 영상을 즐길 수 있는 불편함이 존재하였다.

또한, 최근에는 이동단말기를 VR장치에 결합하고, 이동단말기가 VR영상을 생성하기 위한 정보처리를 수행한 후 VR장치로 전달하는 방식이 등장하고 있다. 이는 정보처리를 수행하는 컴퓨터인 이동단말기와 재생하는 VR장치가 유선으로 연결되지만, 이동단말기 VR장치에 결합될 수 있어서 케이블에 의해 발생하는 문제점은 해결될 수 있다. 그러나 이동단말기는 PC에 비해 고사양의 프로그램을 구동하기 어려워서, 고사양의 VR게임을 구동하거나 높은 해상도의 VR영상을 재생하기 어려운 문제가 있다.

따라서, 본 발명은, 정보처리 장치와 VR장치 간에 무선통신을 통해 영상프레임을 전송하여 재생하도록 하여, 장소 및 행동반경에 구애받지 않고 고사양의 컴퓨터로부터 VR영상을 제공받을 수 있는, 가상현실영상 전송방법, 재생방법 및 이를 이용한 프로그램을 제공하고자 한다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 가상현실영상 재생방법은, 클라이언트가 서버로부터 영상프레임을 수신하는 단계, 상기 수신된 영상프레임을 제1 레이어에 할당하는 단계, 적어도 하나의 그래픽 사용자 인터페이스를 포함하는 제2 레이어를 생성하는 단계, 상기 제1 레이어 및 상기 제2 레이어를 합성하여 최종영상프레임을 생성하는 단계 및 상기 생성된 최종영상프레임을 표시하는 단계를 포함한다.

또한, 적어도 하나의 컨트롤러의 제어 정보를 표시하는 제3 레이어를 생성하는 단계를 더 포함하고, 상기 최종영상프레임을 생성하는 단계는, 상기 제1 레이어, 상기 제2 레이어 및 상기 제3 레이어를 합성하여 상기 최종영상프레임을 생성하는 단계를 포함할 수 있다.

또한, 상기 제3 레이어를 생성하는 단계는, 상기 클라이언트가 상기 적어도 하나의 컨트롤러의 동작 정보를 수신하는 단계, 상기 수신된 동작 정보를 이용하여 상기 적어도 하나의 컨트롤러의 제어 정보를 나타내는 영상을 생성하는 단계 및 상기 생성된 영상을 상기 제3 레이어에 할당하는 단계를 포함할 수 있다.

또한, 상기 영상프레임을 수신하는 단계는, 상기 클라이언트가 상기 서버로부터 제1 시점에 상응하는 제1 영상프레임을 수신하는 단계를 포함하고, 상기 가상현실영상 재생방법은, 상기 제1 시점에 상응하는 재생방향데이터 및 영상방향데이터를 획득하는 단계를 더 포함하고, 상기 재생방향데이터는, 특정시점에 상기 클라이언트의 화면상에 재생되어야 하는 영상프레임의 방향에 관한 데이터이고, 상기 영상방향데이터는, 상기 서버에 의해 생성된 영상프레임의 3차원 공간상의 방향에 관한 데이터일 수 있다.

또한, 상기 재생방향데이터를 획득하는 단계는, 사용자의 고개 움직임을 측정하여 상기 재생방향데이터를 획득하는 단계를 포함할 수 있다.

또한, 상기 영상프레임을 수신하는 단계는, 제2 시점의 영상프레임이 수신되지 않는 경우, 상기 제1 시점의 영상방향데이터와 상기 제2 시점의 재생방향데이터의 차이값을 산출하여, 상기 차이값을 바탕으로 상기 제1 영상프레임을 보정하는 단계를 더 포함하고, 상기 제2 시점은, 상기 제1 시점으로부터 상기 영상프레임의 전송주기가 경과된 시점일 수 있다.

또한, 상기 제1 영상프레임을 보정하는 단계는, 상기 차이값을 바탕으로 상기 제1 영상프레임을 이동 또는 변환시켜 제2 대체영상프레임을 생성하는 단계; 를 포함하고, 상기 제1 레이어에 할당하는 단계는, 상기 생성된 제2 대체영상프레임을 상기 제1 레이어에 할당하는 단계를 포함할 수 있다.

또한, 상기 재생방향데이터 및 상기 영상방향데이터는, 고저각데이터 및 방위각데이터를 포함하며, 상기 차이값 산출단계는, 상기 제2 시점의 재생방향데이터와 상기 제1 시점의 영상방향데이터 사이의 고저각 및 방위각 차이를 산출하는 것을 특징으로 할 수 있다.

또한, 상기 재생방향데이터 및 상기 영상방향데이터는, 사용자의 정면방향을 축으로 하는 회전각도인 기울임데이터를 포함하며, 제1 영상프레임을 보정하는 단계는, 상기 제2 시점의 재생방향데이터와 상기 제1 시점의 영상방향데이터 사이의 상기 기울임데이터 차이를 바탕으로, 상기 제1 영상프레임을 회전하여 보정하는 단계를 더 포함할 수 있다.

또한, 제n 시점(n은 2보다 큰 자연수)에 상응하는 영상프레임이 수신되지 않으면, 제n-1 시점에 상응하는 영상방향데이터와 상기 제n 시점에 상응하는 재생방향데이터를 비교하여 차이값을 산출하는 단계 및 상기 산출된 차이값만큼 제n-1 대체영상프레임을 보정하여 제n 대체영상프레임을 생성하는 단계를 더 포함하되, 상기 제n 시점은, 제n 번째의 영상프레임이 수신되는 시점으로, 상기 제n-1 시점으로부터 영상프레임의 전송주기가 경과된 시점일 수 있다.

상술한 과제를 해결하기 위한 본 발명의 다른 일 면에 따른 가상현실영상 재생프로그램은, 하드웨어인 컴퓨터와 결합되어, 개시된 실시 예에 따른 가상현실영상 재생방법을 실행시키기 위하여 매체에 저장된다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.

첫째, 가상현실 영상프레임을 무선으로 전송함에 따른 특정시점의 영상프레임 누락을 보완할 수 있어서, 사용자는 특정한 영상프레임이 수신되지 않는 경우에도 가상현실 공간의 전체적인 시점이 흔들리지 않고 자연스럽게 영상이 재생될 수 있는 효과가 있다.

둘째, 사용자는 서버컴퓨터가 멀리 떨어져 있는 상태에서도 셀룰러 통신이나 WLAN 통신을 이용하여 어디서나 끊김이 없는 가상현실 영상을 즐길 수 있다.

셋째, 영상프레임이 미수신되는 경우를 보완할 수 있음에 따라 가상현실 영상을 무선으로 전송할 수 있어서, 컴퓨터에 연결된 케이블에 의해 행동이 제한되고 케이블에 걸려서 안전사고가 발생할 수 있는 문제를 해결하는 효과가 있다.

넷째, 서버는 클라이언트에 의해 요청되는 재생방향데이터에 부합하는 전체영상 중 하나의 프레임만 추출하여 전송하거나 재생방향데이터에 부합하는 방향의 프레임만 생성하여 전송하면 되므로, 무선통신의 네트워크 대역폭을 절약할 수 있는 효과가 있다.

다섯째, 동일한 데이터용량으로 모든 방향에 대한 전체영상을 전송하는 것이 아닌 하나의 프레임만 전송하므로, 통신 트래픽을 많이 차지하지 않으면서 고해상도의 영상을 전송할 수 있다. 이를 통해, 클라이언트를 착용하는 사용자는 원거리에서 고해상도의 영상을 시청할 수 있다.

여섯째, 클라이언트는 서버로부터 재생이 요구되는 방향의 영상프레임만을 수신하므로, 원하는 방향을 재생하기 위해 클라이언트가 전체영상 중에서 재생하는 방향의 프레임을 추출하는 과정을 수행할 필요가 없다. 이를 통해, 클라이언트는 높은 사양이 필요하지 않을 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일실시예에 따른 가상현실영상 송수신 시스템의 구성도이다.
도 2는 본 발명의 일실시예에 따른 가상현실영상 전송방법에 대한 순서도이다.
도 3은 본 발명의 일실시예에 따른 최초전체영상을 기초로 생성된 가상현실영상프레임의 전송방법에 대한 순서도이다.
도 4는 본 발명의 일실시예에 따른 클라이언트의 가상현실영상 재생방법에 대한 순서도이다.
도 5는 제2최종영상프레임이 누락되고 제2대체영상프레임이 제공되지 않을 경우, 클라이언트를 통해 사용자에게 제공되는 영상의 변화를 나타낸 예시도면이다.
도 6은 본 발명의 일실시예에 따라 클라이언트에서 제1시점의 영상방향데이터와 제2시점의 재생방향데이터의 차이값을 바탕으로 생성한 제2대체영상프레임의 예시도면이다.
도 7은 클라이언트가 이동하는 경우 최종영상프레임이 누락된 프레임이 없이 차례대로 제공됨에 따른 물체 위치 변화를 나타낸 예시도면이다.
도 8은 본 발명의 일실시예에 따라 클라이언트의 이동정도를 반영하여 제1최종영상프레임에서 각각의 물체 위치를 보정한 제2대체영상프레임을 제공하는 예시도면이다.
도 9는 일 실시 예에 따라 하나 이상의 레이어를 이용하여 가상현실 영상을 재생하는 방법을 도시한 흐름도이다.
도 10은 일 실시 예에 따라 제1 레이어 및 제2 레이어를 포함하는 가상현실 영상 재생방법을 도시한 도면이다.
도 11은 일 실시 예에 따라 제1 레이어, 제2 레이어 및 제3 레이어를 포함하는 가상현실 영상 재생방법을 도시한 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

이하, 도면을 참조하여 본 발명의 실시예들에 따른 가상현실영상 송수신 시스템에 대해 설명하기로 한다.

도 1은 본 발명의 일실시예에 따른 가상현실영상 송수신 시스템의 구성도이다.

본 발명의 일실시예에 따른 가상현실영상 송수신 시스템은, 서버(100); 및 클라이언트(200); 를 포함한다.

서버(100)는 가상현실(Virtual Reality; VR) 영상을 생성하는 컴퓨터이다. 서버(100)는 내부에서 정보처리를 수행하여 클라이언트(200)에 제공할 VR영상을 생성하는 기능을 수행한다. 예를 들어, VR영상이 특정한 게임 구동에 따른 영상인 경우, 서버(100)는 게임프로그램을 구동하여 적절한 영상프레임을 생성하여 무선통신을 통해 클라이언트(200)로 전송할 수 있다.

또한, 서버(100)는 생성되는 VR영상에 영상방향데이터를 메타정보로 결합하는 기능을 수행할 수 있다. 상기 영상방향데이터는 서버(100)에 의해 생성된 영상프레임의 3차원 공간상의 방향에 관한 데이터일 수 있다.

또한, 서버(100)는 클라이언트(200)로부터 재생방향데이터를 수신할 수 있다. 서버(100)는 영상프레임에 결합할 영상방향데이터를 수신한 재생방향데이터로 결정하고, 재생방향데이터(또는 영상방향데이터)에 상응하는 VR영상프레임을 생성할 수 있다.

클라이언트(200)는 가상현실영상에 해당하는 영상프레임(즉, 후술하는 최종영상프레임)을 수신하여 재생하는 장치이다. 즉, 클라이언트(200)는 서버(100)로부터 수신한 VR영상프레임을 재생하여 착용자에게 제공하는 기능을 수행한다. 클라이언트(200)는 VR장치 자체가 해당될 수 있으며, VR장치에 이동단말기가 결합된 형태가 해당될 수도 있다. 예를 들어, VR장치와 이동단말기가 결합되어 클라이언트(200)를 이루는 경우, 이동단말기가 서버(100)로부터 생성된 영상프레임을 수신하고, 이를 연결된 유선케이블 또는 근거리 무선통신을 통해 VR장치로 영상프레임을 전달하여 화면에 표시할 수 있다.

VR장치는 다양한 형태로 구성될 수 있다. 예를 들어, VR장치는 양안에 적합한 각각의 영상을 포함한 영상프레임을 하나의 디스플레이부에 표시하고, 각 안구방향의 어안렌즈에 의해 3차원 영상으로 생성할 수 있다. 또한, 다른 일실시예에서, VR장치는 각각의 안구에 부합하는 영상을 제공하는 2개의 디스플레이부를 구비할 수 있다.

또한, 클라이언트(200)는 재생방향데이터를 측정하는 역할을 수행할 수 있다. 상기 재생방향데이터는 특정시점에 상기 클라이언트(200)의 화면상에 재생되어야 하는 영상프레임의 방향에 관한 데이터일 수 있다. 즉, 착용자가 클라이언트(200)를 안구에 착용하고 바라보는 방향을 측정하고, 이를 재생방향데이터로 결정할 수 있다. 예를 들어, 재생방향데이터는 고저각데이터, 방위각데이터 또는 기울임데이터를 포함할 수 있다. 클라이언트(200)는 하나 이상의 센서(예를 들어, 자이로센서, 가속도센서, 지자기센서 등)을 구비하여, 클라이언트(200)를 착용한 사용자의 머리(또는 고개)의 움직임을 측정하여 고저각데이터, 방위각데이터, 기울임데이터 등을 포함할 수 있다. 또한, 클라이언트(200)는 측정한 재생방향데이터를 서버(100)로 무선통신을 통해 전송하는 기능을 수행할 수 있다.

상기 고저각데이터는 수평면(예를 들어, 지평선)과 클라이언트(200)의 시선방향이 이루는 각을 의미할 수 있다. 즉, 상기 고저각데이터는 사용자 고개의 상하 움직임에 따라 수평면과 이루는 각일 수 있다.

상기 방위각데이터는 방위를 나타내는 각도로, 수평면 상에서 특정한 기준방향을 기준으로 하여 회전한 각도를 의미할 수 있다. 즉, 상기 방위각데이터는 사용자의 몸체(또는 목)을 축으로 하여 회전하는 고개움직임에 의해 변경될 수 있다.

상기 기울임데이터는 사용자의 정면방향을 축으로 하여 고개가 회전하는 각을 의미할 수 있다. 즉, 상기 기울임데이터는 사용자의 좌우로의 고개 움직임 또는 사용자 신체의 전체적인 회전 등에 의해 변경될 수 있다.

또한, 클라이언트(200)는 착용자의 이동을 측정할 수도 있다. 예를 들어, 가상시뮬레이션 훈련 또는 게임을 수행하는 경우, 사용자는 클라이언트(200)를 착용하고 이동하게 되므로, 클라이언트(200)는 측정된 사용자의 이동 정도를 바탕으로 이동한 위치에 부합하는 영상프레임을 서버(100)로 요청할 수 있다. 또한, 클라이언트(200)는, 후술하는 바와 같이, 사용자가 이동한 특정시점의 영상프레임이 미수신되는 경우, 영상프레임 전송주기 사이의 사용자의 이동 정도를 반영하여 영상프레임의 보정을 수행할 수 있다.

또한, 클라이언트(200)는 무선통신으로 영상프레임을 수신하는 경우에 특정한 영상프레임이 수신되지 않으면, 이전에 수신된 영상프레임을 사용자의 움직임에 적합하도록 보정하여 화면 상에 표시할 수 있다. 즉, 클라이언트(200)는 제2시점의 최종영상프레임이 수신되지 않는 경우, 제1시점의 영상방향데이터와 상기 제2시점의 재생방향데이터의 차이값을 산출하여, 상기 차이값을 바탕으로 제1시점의 최종영상프레임을 보정할 수 있다. 상기 제2시점은 상기 제1시점으로부터 상기 최종영상프레임의 전송주기가 경과된 시점일 수 있다.

서버(100)와 클라이언트(200)는 무선통신을 통해 연결될 수 있다. 무선통신방식으로는, Wi-Fi방식, 셀룰러통신 등이 활용될 수 있다. 예를 들어, 서버(100)가 사용자가 위치한 특정한 공간 내(예를 들어, 집 내부, 가상현실 체험공간 내 등)에 배치된 컴퓨터인 경우, 무선 AP(예를 들어, Wi-Fi AP)를 통해 클라이언트(200)와 서버(100) 사이의 통신이 수행될 수 있다. 또한, 예를 들어, 서버(100)가 외부의 원거리에 배치된 컴퓨터인 경우, 원거리의 서버(100)가 셀룰러 통신 또는 LAN통신 등을 통해 클라이언트(200)로 생성된 영상프레임을 전송할 수 있다. 클라이언트(200)는 셀룰러통신을 통해 기지국으로부터 영상프레임을 수신하거나 무선 AP로부터 WLAN을 통해 영상프레임을 수신할 수 있다. 이를 통해, 사용자는, 무선통신이 가능한 클라이언트(200)를 소지하고 있으면, 서버(100) 컴퓨터에 가까운 위치에 있지 않아도 서버(100)로부터 제공되는 VR영상을 수신하여 이용할 수 있다.

이하, 도면을 참조하여 본 발명의 실시예들에 따른 가상현실영상 전송방법, 재생방법 및 프로그램에 대해 설명하기로 한다.

무선통신을 통해 가상현실영상(VR영상)을 전송하는 경우, 무선통신망의 상태가 원활하지 않아 특정한 영상프레임이 누락될 수 있다. 이러한 경우에 착용자는 영상프레임 내의 물체가 흔들리는 것과 같이 느껴 멀미증상이 생길 수도 있다. 이러한 문제를 해결하기 위해서는, 누락된 영상프레임을 대체할 대체영상프레임을 이전 시점에 수신한 영상프레임으로부터 생성하여 사용자에게 제공할 필요가 있다.

기존의 서버(100)와 클라이언트(200)가 케이블을 통해 유선으로 연결되는 방식은 영상을 생성하는 서버(100)컴퓨터에 의해 영상보정까지 수행되므로 별도의 보정을 위한 기준이 필요하지 않지만, 무선통신을 이용하여 서버(100)와 클라이언트(200) 사이에 영상프레임을 전송하는 방식은 서버(100)에 의해 영상프레임이 생성되고 클라이언트(200)에 의해 누락된 특정시점의 영상프레임을 보완하는 것으로 역할이 나누어지므로 영상을 보정하기 위한 기준이 필요하다. 따라서, 이하, 무선통신을 통해 수신되지 않는 영상프레임을 보완하여 사용자가 영상이 흔들리는 등의 불편함을 인지하지 못하도록 하기 위한 서버(100)의 가상현실 영상 생성 및 전송방법과 클라이언트(200)의 가상현실영상 재생방법을 설명한다.

도 2는 본 발명의 일실시예에 따른 가상현실영상 전송방법에 대한 순서도이다.

도 2를 참조하면, 본 발명의 일실시예에 따른 가상현실영상 전송방법은, 서버(100)가 최초영상프레임을 생성하는 단계(S120); 상기 최초영상프레임에 상응하는 영상방향데이터를 판단하는 단계(S140); 상기 최초영상프레임에 상기 영상방향데이터를 메타정보로 결합하여 최종영상프레임을 생성하는 단계(S160); 및 상기 최종영상프레임을 무선통신을 통해 클라이언트(200)로 전송하는 단계(S180);를 포함한다.

서버(100)가 최초영상프레임을 생성한다(S120). 서버(100)는 내부에 설치된 프로그램을 구동하여 최초영상프레임을 생성할 수 있다. 상기 최초영상프레임은 클라이언트(200)로 송신된 후 특정 영상프레임의 미수신 시 보완을 위한 정보처리가 수행되지 않은 영상프레임을 의미한다. 예를 들어, 서버(100)가 게임 프로그램을 구동하여 게임 영상프레임을 생성할 수 있다.

서버(100)는 상기 최초영상프레임에 상응하는 영상방향데이터를 판단한다(S140). 상기 영상방향데이터는 상기 서버(100)에 의해 생성된 영상프레임의 3차원 공간상의 방향에 관한 데이터이다. 서버(100)에 의해 영상이 생성되기 전에 영상방향데이터를 결정(예를 들어, 특정방향의 영상 제공이 요청됨에 따라 생성할 영상방향이 정해진 후 대응되는 최초영상프레임을 생성)될 수 있고, 영상프레임을 생성한 후 대응되는 영상방향데이터를 결정할 수도 있다.

서버(100)는 최초영상프레임에 영상방향데이터를 메타정보로 결합하여 최종영상프레임을 생성한다(S160). 그 후, 서버(100)는 최종영상프레임을 무선통신을 통해 클라이언트(200)로 전송한다(S180). 즉, 서버(100)는, 클라이언트(200)가 영상프레임에 대응되는 방향을 판단하거나 다음 전송시점(즉, 제2시점)의 영상프레임이 미수신되는 경우에 이전 시점(즉, 제1시점)의 영상프레임 보정을 통해 보완할 수 있도록, 최초영상프레임에 영상방향데이터를 결합한 최종영상프레임을 클라이언트(200)로 전송할 수 있다.

클라이언트(200)는 서버(100)로부터 제2시점의 최종영상프레임이 통신 상태 불량 등에 의해 수신되지 않는 경우, 제1시점의 영상방향데이터와 상기 제2시점의 재생방향데이터의 차이값을 산출하여, 상기 차이값을 바탕으로 상기 제1시점의 최종영상프레임을 보정할 수 있다. 상기 제2시점은 상기 제1시점으로부터 상기 최종영상프레임의 전송주기가 경과된 시점일 수 있다.

또한, 상기 클라이언트(200)로부터 재생방향데이터를 수신하는 단계(S110);를 더 포함할 수 있다. 예를 들어, 착용자가 클라이언트(200)를 착용하고 움직이면, 클라이언트(200)는 특정시점에 화면을 통해 사용자에게 제공되어야 할 영상프레임 방향에 관한 데이터(예를 들어, 사용자의 고개움직임에 관한 데이터)를 획득하여 서버(100)로 전송할 수 있다. 클라이언트(200)에 의해 측정되는 데이터를 재생방향데이터라고 하며, 서버(100)는 영상방향데이터 판단단계(S120)에서 클라이언트(200)로부터 수신한 재생방향데이터를 바탕으로 영상방향데이터를 결정할 수 있다. 즉, 서버(100)는 클라이언트(200)로부터 수신된 재생방향데이터와 일치하는 방향을 영상을 생성할 방향으로 결정할 수 있다. 따라서, 서버(100)는 클라이언트(200)로부터 수신된 재생방향데이터를 영상방향데이터로 설정하고(S120), 설정된 영상방향데이터에 부합하는 최초영상프레임(S100)을 생성할 수 있다.

또한, 상기 최종영상프레임 생성단계(S140)는, 상기 최종영상프레임을 각각의 안구용 영상프레임으로 변환하는 단계; 를 더 포함할 수 있다. 3차원 영상이 제공되기 위해서는 좌안용 영상과 우안용 영상에 차이가 필요할 수 있다. 따라서, 서버(100)는 클라이언트(200)로 전송할 최종영상프레임을 좌안용 최종영상프레임 및 우안용 최종영상프레임으로 각각 생성할 수 있다.

또한, 상기 최종영상프레임 생성단계(S140)는, 상기 클라이언트(200)의 화면에 부합하는 크기로 상기 최종영상프레임을 변환하는 단계;를 더 포함할 수 있다. 즉, 서버(100)는 클라이언트(200)가 최종영상프레임을 수신하여 바로 재생할 수 있도록, 클라이언트(200) 화면 크기에 부합하도록 영상프레임의 크기를 변환할 수 있다. 이를 통해, 서버(100)에 비해 정보처리를 위한 사양이 낮은 클라이언트(200)에서 화면 크기에 부합하도록 변환하는 과정에서 발생할 수 있는 시간지연(delay)을 최소화할 수 있다.

도 3은 본 발명의 일실시예에 따른 최초전체영상을 기초로 생성된 가상현실영상프레임의 전송방법에 대한 순서도이다.

본 발명의 다른 일실시예에 따른 가상현실영상 전송방법은, 서버(100)가 특정시점의 최초전체영상을 생성하는 단계(S100); 상기 클라이언트(200)로부터 재생방향데이터를 수신하는 단계(S110); 상기 최초전체영상에서 상기 재생방향데이터에 상응하는 최초영상프레임을 추출하는 단계(S121); 상기 재생방향데이터를 영상방향데이터로 결정하는 단계(S141); 상기 최초영상프레임에 상기 영상방향데이터를 메타정보로 결합하여 최종영상프레임을 생성하는 단계(S160); 및 상기 최종영상프레임을 무선통신을 통해 클라이언트(200)로 전송하는 단계(S180); 를 포함한다. 이하, 기 설명된 단계에 대한 구체적인 설명은 생략한다.

서버(100)가 특정시점의 최초전체영상을 획득한다(S100). 상기 최초전체영상은 사용자의 시선이 향하는 모든 방향의 영상프레임을 포함하는 영상을 의미할 수 있다. 즉, 서버(100)는 내부의 특정한 프로그램을 구동하여 특정시점의 전체영상을 생성할 수 있고, 미리 생성된 일정시간의 전체영상(예를 들어, 360도 카메라에 의해 일정시간동안 촬영된 영상) 중에서 특정시점의 전체영상을 추출할 수 있다.

서버(100)가 클라이언트(200)로부터 재생방향데이터를 수신한다(S110).

서버(100)가 상기 최초전체영상에서 상기 재생방향데이터에 상응하는 최초영상프레임을 추출한다(S121). 즉, 서버(100)는 클라이언트(200)로부터 수신된 재생방향데이터를 통해 영상프레임이 요청되는 방향을 판단하고, 최초전체영상에서 상기 재생방향데이터에 상응하는 최초영상프레임을 추출할 수 있다.

서버(100)는 상기 재생방향데이터를 영상방향데이터로 결정한다(S141). 즉, 서버(100)는, 추출된 최초영상프레임이 상기 재생방향데이터에 대응되는 방향의 영상프레임이므로, 클라이언트(200)로부터 수신된 재생방향데이터를 상기 추출된 최초영상프레임의 영상방향데이터로 설정될 수 있다.

서버(100)가 상기 최초영상프레임에 상기 영상방향데이터를 메타정보로 결합하여 최종영상프레임을 생성한다(S160). 서버(100)가 상기 최종영상프레임을 무선통신을 통해 클라이언트(200)로 전송한다(S180).

도 4는 본 발명의 일실시예에 따른 클라이언트(200)의 가상현실영상 재생방법에 대한 순서도이다.

본 발명의 또 다른 일실시예에 따른 가상현실영상 재생방법은, 클라이언트(200)가 서버(100)로부터 제1시점에 상응하는 제1최종영상프레임을 수신하는 단계(S200); 제2시점에 상응하는 제2최종영상프레임이 수신되지 않으면, 상기 제1시점에 상응하는 영상방향데이터와 상기 제2시점에 상응하는 재생방향데이터를 비교하여 차이값을 산출하는 단계(S220); 상기 산출된 차이값만큼 상기 제1최종영상프레임을 보정하여 미수신된 상기 제2최종영상프레임을 대체하는 제2대체영상프레임을 생성하는 단계(S240); 및 상기 제2대체영상프레임을 화면에 표시하는 단계(S260);를 포함한다.

클라이언트(200)가 서버(100)로부터 제1시점에 상응하는 제1최종영상프레임을 수신한다(S200). 즉, 클라이언트(200)는 서버(100)로부터 영상방향데이터가 메타정보로 결합된 제1최종영상프레임을 무선통신을 통해 수신할 수 있다. 상기 영상방향데이터는 상기 서버(100)에 의해 획득된 영상프레임의 3차원 공간상의 방향에 관한 데이터이며, 상기 최종영상프레임은 상기 서버(100)에 의해 상기 영상방향데이터를 메타정보로 포함하는 영상프레임일 수 있다.

클라이언트(200)는, 제2시점에 상응하는 제2최종영상프레임이 수신되지 않으면, 상기 제1시점에 상응하는 영상방향데이터와 상기 제2시점에 상응하는 재생방향데이터를 비교하여 차이값을 산출한다(S220). 상기 제2시점은, 상기 제1시점으로부터 상기 최종영상프레임의 전송주기가 경과된 시점일 수 있다. 클라이언트(200)는 제1시점에 대응하는 제1최종영상프레임을 수신하여 표시한 후에 최종영상프레임의 전송주기가 경과된 후 제2시점에 통신상태의 불량 등의 이유로 제2최종영상프레임을 수신하지 못할 수 있다. 이러한 경우, 사용자는 제2시점에서 기대되는 제2최종영상프레임 대신에 제1최종영상프레임을 계속 표시됨에 따라 제2시점의 재생방향데이터와 제1최종영상프레임의 영상방향데이터 사이의 차이만큼 물체가 흔들리는 현상이 발생할 수 있다. 즉, 제2시점에 제1시점에 상응하는 제1최종영상프레임을 계속 표시한 후에 제3시점(즉, 제2시점으로부터 최종영상프레임의 전송주기가 경과된 시점)에 새로운 최종영상프레임(즉, 제3최종영상프레임)이 수신되면, 도 5에서와 같이, 사용자는 제1최종영상프레임에서 제3최종영상프레임으로 바로 변경됨에 따라 제2시점에 상응하는 물체의 위치를 건너뛰고 제1시점의 물체 위치에서 제3시점의 물체 위치로 이동함에 따라 부자연스럽게 물체가 움직이거나 흔들리는 것과 같은 현상을 느낄 수 있다. 이러한 현상이 계속적으로 발생하게 되면, 사용자는 멀미 현상을 느낄 수 있다. 이를 해결하기 위해, 클라이언트(200)는 누락된 제2최종영상프레임을 대체할 영상프레임을 생성할 필요가 있다. 따라서 클라이언트(200)는 제1시점에 수신된 제1최종영상프레임을 수정하여 제2시점의 영상프레임(즉, 제2대체영상프레임)으로 생성할 수 있다.

클라이언트(200)는 제1최종영상프레임을 제2시점에 부합하는 영상프레임으로 변환하기 위해 보정 수준을 결정할 필요가 있다. 이를 위해, 클라이언트(200)는 상기 제1시점에 상응하는 영상방향데이터와 상기 제2시점에 상응하는 재생방향데이터를 비교하여 차이값을 산출할 수 있다. 재생방향데이터는 특정시점에 상기 클라이언트(200)의 화면상에 재생되어야 하는 영상프레임의 방향에 관한 데이터일 수 있다. 재생방향데이터는 VR장치 내에 구비된 센서(예를 들어, 자이로센서, 지자기센서, 가속도센서 등)를 통해 측정될 수 있다. 예를 들어, 클라이언트(200)는 서버(100)로부터 재생방향데이터에 대응하는 영상방향데이터를 포함하는 영상프레임을 수신하여 사용자에게 제공하는 경우, 클라이언트(200)는 영상프레임이 제공되어야 하는 방향에 해당하는 제2재생방향데이터와 제1최종영상프레임의 방향에 해당하는 제1영상방향데이터의 차이를 계산하여, 제1최종영상프레임을 보정하여야 하는 값으로 산출할 수 있다.

상기 재생방향데이터 및 상기 영상방향데이터는 고저각데이터 및 방위각데이터를 포함할 수 있다. 클라이언트(200)는 제2시점의 재생방향데이터와 제1시점의 영상방향데이터 사이의 고저각 및 방위각 차이를 산출할 수 있다.

또한, 상기 재생방향데이터 및 상기 영상방향데이터는 착용자의 정면방향을 축으로 하는 회전각도인 기울임데이터를 포함할 수 있다. 클라이언트(200)는 제2시점의 재생방향데이터와 제1시점의 영상방향데이터 사이의 기울임데이터 차이를 산출할 수 있다.

클라이언트(200)는 상기 산출된 차이값만큼 상기 제1최종영상프레임을 보정하여 미수신된 상기 제2최종영상프레임을 대체하는 제2대체영상프레임을 생성한다(S240). 일실시예로, 클라이언트(200)는 상기 차이값을 바탕으로 상기 제1최종영상프레임을 이동할 수 있다. 즉, 클라이언트(200)는 고저각의 차이값만큼 제1최종영상프레임을 수직방향으로 이동시킬 수 있고, 방위각의 차이값만큼 제1최종영상프레임을 수평방향으로 이동시킬 수 있다. 또한, 클라이언트(200)는 기울임데이터의 차이값만큼 제1최종영상프레임을 회전할 수 있다. 사용자의 정면방향을 축으로 특정한 방향으로 고개를 기울이면 사용자에게 보이는 물체는 회전하므로, 제1시점의 영상방향데이터와 제2시점의 재생방향데이터간의 기울임데이터의 차이값만큼 제1최종영상프레임을 회전할 수 있다.

클라이언트(200)가 제1최종영상프레임을 상기 차이값에 따라 보정하는 경우, 사용자에게 제공될 제2대체영상프레임 상에는, 도 6에서와 같이, 공백영역이 발생하게 된다. 상기 공백영역은 흑백으로 처리되거나, 착용자가 시각적으로 최소로 인지하도록 유사한 색상의 조합으로 처리될 수도 있다.

클라이언트(200)는 상기 제2대체영상프레임을 화면에 표시한다(S260). 즉, 클라이언트(200)는 제2시점에 누락된 제2최종영상프레임을 대신하여 제1최종영상프레임을 보정한 제2대체영상프레임을 화면에 표시할 수 있다.

또한, 사용자가 클라이언트(200)를 착용하고 이동하는 경우, 클라이언트(200)는 사용자의 이동정도(예를 들어, 이동거리 및 이동방향, 이동한 걸음 수 등)를 파악하여, 제2시점의 최종영상프레임이 수신되지 않는 경우, 사용자의 이동정도에 부합하도록 제1최종영상프레임을 보정할 수 있다. 일실시예로, 사용자가 이동하는 경우에 물체들은 사용자로부터 떨어진 거리에 따라서 위치변화 정도에 차이가 있다. 도 7에서와 같이, 가까이 위치하는 물체는 사용자의 이동에 따라 큰 폭으로 이동하고, 멀리 위치하는 물체는 사용자의 이동에 따라 가까이 위치한 물체에 비해 작은 폭으로 이동하게 된다. 따라서, 가상현실 영상에서도 이러한 원근에 따른 물체 이동 폭의 차이를 반영하여야 사용자에게 높은 현실감을 제공할 수 있다. 이를 위해, 서버가 복수의 물체(즉, 영상프레임 내에서 각 픽셀의 집합으로 표현된 물체)가 클라이언트로부터 각각 떨어진 거리정보(이하, 깊이정보)를 메타정보로 포함하여 최종영상프레임을 생성하여 전송할 수 있다. 제2시점의 제2최총영상프레임이 누락되는 경우, 클라이언트는 포함된 하나 이상의 센서(예를 들어, 자이로센서, 가속도센서, 지자기센서 등)를 이용하여 사용자의 이동정도를 산출하고, 제1최종영상프레임 내의 각각의 물체에 각 물체의 깊이정보를 반영하여 제2대체영상프레임을 생성할 수 있다. 즉, 도 8에서와 같이, 클라이언트는 제1시점과 제2시점의 클라이언트 위치(즉, 클라이언트를 착용한 사용자의 위치) 차이에 따라 제1최종영상프레임 내 복수의 물체에 상응하는 픽셀 별로 보정을 수행하여 제2대체영상프레임을 생성할 수 있다. 또한, 추가적으로, 클라이언트는 물체가 배치된 거리에 따른 물체 이동 폭의 차이를 반영하여 픽셀 단위의 물체 보정을 수행한 후, 기존에 제1최종영상프레임에서 물체가 배치되어 있던 영역을 보상하는 작업을 수행할 수 있다. 클라이언트는 주변의 색상을 반영하여 특정한 색상 조합으로 기존의 물체 배치 공간을 채울 수 있다.

또한, 다른 일실시예로, 물체의 이동 폭이 상이한 경우, 클라이언트는 가장 큰 크기의 물체의 배치 위치에 맞게 영상프레임을 이동시킨 후, 나머지 물체들을 픽셀 단위로 조절할 수 있다. 이를 통해, 최대 크기의 물체에 대해서는 픽셀 단위 작업을 수행하지 않으므로, 제2대체영상프레임 내에 픽셀단위 이동에 따라 생성되는 빈 공간이 최소화될 수 있다. 또한, 다른 일실시예로, 클라이언트를 착용한 사용자가 전방 또는 후방으로만 이동하는 경우, 클라이언트는 제1최종영상프레임을 확대 또는 축소하여 누락된 제2최종영상프레임을 대체하는 제2대체영상프레임을 생성할 수 있다.

또한, 제n시점(n은 1보다 큰 자연수)에 상응하는 최종영상프레임이 수신되지 않으면, 상기 제n-1시점에 상응하는 영상방향데이터와 상기 제n시점에 상응하는 재생방향데이터를 비교하여 차이값을 산출하는 단계; 및 상기 산출된 차이값만큼 상기 제n-1대체영상프레임을 보정하여 제n대체영상프레임을 생성하는 단계; 를 더 포함할 수 있다. 즉, 제2시점에 제2최종영상프레임이 수신되지 않아 제2대체영상프레임이 제공된 후에 제3시점에 제3최종영상프레임이 수신되면, 사용자는 영상 내의 물체가 원활하게 이동하는 것으로 지각할 수 있다. 그러나 제2시점 이후에도 영상프레임이 연속적으로 수신되지 않는 경우, 클라이언트(200)는 이전에 생성된 대체영상프레임(예를 들어, 제2대체영상프레임 또는 제n-1대체영상프레임)을 바탕으로 다음 대체영상프레임(예를 들어, 제3대체영상프레임 또는 제n대체영상프레임)을 생성할 필요가 있다. 클라이언트(200)는 제n-1시점의 제n-1대체영상프레임 내의 영상방향데이터(또는 제n-1시점에 측정된 재생방향데이터)와 제n시점에 측정된 재생방향데이터를 비교하여 차이값을 산출하고, 산출된 차이값만큼 제n-1대체영상프레임을 보정(예를 들어, 이동 또는 변환)하여 제n대체영상프레임을 생성할 수 있다. 이를 통해, 클라이언트(200)는 통신상태 불량에 의해 연속적으로 서버(100)로부터 최종영상프레임이 수신되지 않는 경우에도 자연스러운 가상현실 영상을 사용자에게 제공할 수 있다.

이하에서는, 클라이언트(200)가 하나 이상의 레이어를 이용하여 가상현실 영상을 재생하는 실시 예를 구체적으로 설명한다.

도 9는 일 실시 예에 따라 하나 이상의 레이어를 이용하여 가상현실 영상을 재생하는 방법을 도시한 흐름도이다.

단계 S310에서, 클라이언트(200)가 서버(100)로부터 영상프레임을 수신하고, 클라이언트(200)는 수신된 영상프레임을 제1 레이어에 할당한다.

단계 S320에서, 클라이언트(200)가 적어도 하나의 그래픽 사용자 인터페이스(Graphic User Interface, GUI)를 포함하는 제2 레이어를 생성한다.

단계 S330에서, 클라이언트(200)가 적어도 하나의 컨트롤러의 제어 정보를 표시하는 제3 레이어를 생성한다.

단계 S340에서, 클라이언트(200)가 최종영상프레임을 생성하고, 생성된 최종영상프레임을 표시한다.

일 실시 예에서, 클라이언트(200)는 제1 레이어 및 제2 레이어를 합성하여 최종영상프레임을 생성하고, 생성된 최종영상프레임을 표시한다.

다른 일 실시 예에서, 클라이언트(200)는 제1 레이어, 제2 레이어 및 제3 레이어를 합성하여 최종영상프레임을 생성하고, 생성된 최종영상프레임을 표시한다.

도 10은 일 실시 예에 따라 제1 레이어 및 제2 레이어를 포함하는 가상현실 영상 재생방법을 도시한 도면이다.

도 10을 참조하면, 서버로부터 수신된 영상프레임이 표시되는 제1 레이어(400) 및 적어도 하나의 그래픽 사용자 인터페이스(510 및 520)가 표시되는 제2 레이어(500)가 도시되어 있다.

제1 레이어(400)에 표시된 영상프레임은 서버(100)로부터 영상프레임이 전송되는 전송주기마다 변경된다.

제2 레이어(500)에 표시된 적어도 하나의 그래픽 사용자 인터페이스(510 및 520)는 클라이언트(200) 또는 클라이언트(200)에서 표시되는 영상에 대응하는 애플리케이션을 제어하거나, 클라이언트(200)에서 표시되는 영상에 대응하는 정보를 표시하는 데 이용된다.

예를 들어, 적어도 하나의 그래픽 사용자 인터페이스(510 및 520)는 클라이언트(200)에 표시되는 영상의 재생을 제어하거나, 영상에 대응하는 정보를 표시하기 위한 적어도 하나의 사용자 인터페이스를 포함할 수 있다.

다른 예로, 적어도 하나의 그래픽 사용자 인터페이스(510 및 520)는 클라이언트(200)에 표시되는 게임의 조작 또는 게임에 대응하는 정보를 표시하기 위한 적어도 하나의 사용자 인터페이스를 포함할 수 있다.

사용자의 움직임에 따라 클라이언트(200)가 이동하는 경우, 제1 레이어(400)에 표시되는 영상프레임은 클라이언트(200)의 위치 또는 방향에 따라 결정되는 재생방향데이터 및 영상방향데이터에 대응하는 영상프레임으로 변경된다. 하지만, 제2 레이어(500)에 표시되는 그래픽 사용자 인터페이스의 위치는 변경되지 않고 사용자의 시선과 함께 이동할 수 있다.

마찬가지로, 개시된 실시 예에 따라 제1 레이어(400)에 제1 시점의 영상프레임이 표시되고, 제1 시점으로부터 영상프레임의 전송주기가 경과된 시점인 제2 시점의 영상프레임이 수신되지 않는 경우, 클라이언트(200)는 제1 시점의 영상방향데이터와 제2 시점의 재생방향데이터의 차이점을 산출하여, 차이값을 바탕으로 제1 영상프레임을 보정하여 제2 대체영상프레임을 생성한다.

만약 하나의 레이어에 영상프레임과 그래픽 사용자 인터페이스가 함께 표시되는 경우, 상기 실시 예에 따라 제1 영상프레임을 보정하는 경우 제1 영상프레임에 표시된 그래픽 사용자 인터페이스 또한 함께 이동 또는 회전하게 되어, 사용자로 하여금 불편함을 느끼게 할 수 있다.

따라서, 도 10에 도시된 실시 예에 따르면 영상프레임을 제1 레이어(400)에 할당하고, 그래픽 사용자 인터페이스(510 및 520)를 제2 레이어(500)에 할당함으로써 영상프레임 보정에 따른 불편을 해소하도록 한다.

구체적으로, 클라이언트(200)는 생성된 제2 대체영상프레임을 제1 레이어(400)에 할당하여 표시하도록 한다.

반면, 제2 레이어(500)는 클라이언트(200)에서 생성되는 바, 딜레이 또는 누락이 발생하지 않는다. 또한, 제2 레이어(500)에 표시되는 그래픽 사용자 인터페이스(510 및 520)의 위치는 프레임 내에서 변경되지 않으므로, 제2 레이어(500)에 표시되는 프레임에 대해서는 보정이 이루어질 필요가 없다.

따라서, 클라이언트(200)는 보정이 완료된 제2 대체영상프레임을 포함하는 제1 레이어(400)와 보정이 이루어지지 않은 제2 레이어(500)를 합성하여 최종영상프레임을 생성하고, 생성된 최종영상프레임을 표시한다.

클라이언트(200)는 제2 레이어(500)에 표시되는 그래픽 사용자 인터페이스(510 및 520)를 생성하기 위한 정보를 서버(100)로부터 수신할 수도 있고, 직접 획득할 수도 있다.

서버(100)로부터 정보를 수신하여 그래픽 사용자 인터페이스(510 및 520)를 생성하는 경우에도, 그래픽 사용자 인터페이스(510 및 520)를 생성하기 위하여 필요한 정보의 양은 제1 레이어(400)에 표시되는 영상프레임에 포함된 정보의 양에 비하여 매우 적다. 또한, 그래픽 사용자 인터페이스(510 및 520)는 제1 레이어(400)에 표시되는 영상프레임과 달리 클라이언트(200)의 움직임이나 시간의 흐름에 따라 즉각적으로 변화하여야 하는 것이 아닌 경우가 많으므로, 제1 레이어(400)와 제2 레이어(500)를 분리하여 처리함으로써 용이하게 영상을 보정할 수 있고, 개시된 실시 예에 따른 영상프레임의 보정과정에서 그래픽 사용자 인터페이스가 함께 보정되어 사용자에게 불편을 주는 현상도 방지할 수 있는 효과가 있다.

도 11은 일 실시 예에 따라 제1 레이어, 제2 레이어 및 제3 레이어를 포함하는 가상현실 영상 재생방법을 도시한 도면이다.

도 11은 도 10에 도시된 실시 예에서 제3 레이어(600)가 추가된 실시 예를 도시한 도면이다. 따라서, 제1 레이어(400) 및 제2 레이어(500)와 관련하여 생략되는 내용이라 하더라도 도 10에서 설명한 내용은 도 11에 도시된 제1 레이어(400) 및 제2 레이어(500)에도 적용된다.

일 실시 예에서, 클라이언트(200)는 하나 이상의 컨트롤러(미도시)와 연결된다. 컨트롤러는 가상현실영상의 제어 또는 가상현실영상에 대응하는 애플리케이션이나 게임의 제어를 위하여 이용된다.

클라이언트(200)는 컨트롤러의 동작 정보를 수신하고, 수신된 동작 정보를 이용하여 적어도 하나의 컨트롤러의 제어 정보를 나타내는 영상을 생성한다.

클라이언트(200)는 컨트롤러의 제어 정보를 나타내는 영상을 제3 프레임(600)에 할당한다.

도 11을 참조하면, 제3 프레임(600)은 적어도 하나의 컨트롤러의 위치, 방향 및 동작정보 중 적어도 하나를 나타내는 컨트롤러 이미지(610 및 620)를 표시한다.

클라이언트(200)는 적어도 하나의 컨트롤러의 위치, 방향 및 동작정보 중 적어도 하나를 획득하고, 획득된 정보를 이용하여 컨트롤러의 제어 정보를 나타내는 영상을 생성한다. 클라이언트(200)는 생성된 영상의 일 프레임을 제3 레이어(600)에 표시한다.

제3 레이어(600)에 표시되는 정보는 클라이언트(200)가 컨트롤러로부터 수신하여 표시하는 것이므로, 서버(100)와의 통신상태와 무관하게 클라이언트(200)가 획득 또는 생성하여 표시할 수 있다.

클라이언트(200)는 서버(100)와의 통신과정에서 발생할 수 있는 지연(latency) 현상 없이 컨트롤러의 제어 정보를 표시할 수 있다.

따라서, 제2 레이어(500)와 마찬가지로 제3 레이어(600)에 대해서는 프레임 보정을 수행할 필요가 없다.

클라이언트(200)는 제1 레이어(400)에 표시되는 영상프레임에 대해서만 보정을 수행하고, 보정을 통하여 생성된 제2 대체영상프레임을 제1 레이어(400)에 할당하고, 제1 레이어(400), 제2 레이어(500) 및 제3 레이어(600)를 합성하여 최종영상프레임을 생성한다.

클라이언트(200)는 생성된 최종영상프레임을 표시한다.

이상에서 전술한 본 발명의 일 실시예에 따른 가상현실영상 전송방법, 가상현실영상 재생방법 및 가상현실영상 보정방법은, 하드웨어인 서버(100) 또는 클라이언트(200)와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

첫째, 가상현실 영상프레임을 무선으로 전송함에 따른 특정시점의 영상프레임 누락을 보완할 수 있어서, 사용자는 특정한 영상프레임이 수신되지 않는 경우에도 가상현실 공간의 전체적인 시점이 흔들리지 않고 자연스럽게 유지될 수 있는 효과가 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

100: 서버
200: 클라이언트

Claims

클라이언트가 서버로부터 제1 시점의 제1 영상프레임을 수신하는 단계;
상기 클라이언트가 상기 서버로부터 제2 시점의 제2 영상프레임을 수신하되, 상기 제2 시점에 상기 제2 영상프레임이 수신되지 않는 경우, 상기 제1 시점의 영상방향데이터와 상기 제2 시점의 재생방향데이터의 차이값을 산출하여, 상기 차이값을 바탕으로 상기 제1 영상프레임을 보정하여 상기 제2 영상프레임을 생성하는 단계;
상기 제2 영상프레임을 제1 레이어에 할당하는 단계;
적어도 하나의 그래픽 사용자 인터페이스를 포함하는 제2 레이어를 생성하는 단계;
상기 제1 레이어 및 상기 제2 레이어를 합성하여 최종영상프레임을 생성하는 단계; 및
상기 생성된 최종영상프레임을 표시하는 단계; 를 포함하고,
상기 제2 시점은 상기 제1 시점으로부터 상기 영상프레임의 전송주기가 경과된 시점이고,
상기 재생방향데이터는 특정시점에 상기 클라이언트의 화면상에 재생되어야 하는 영상프레임의 방향에 관한 데이터이고,
상기 영상방향데이터는 상기 서버에 의해 생성된 영상프레임의 3차원 공간상의 방향에 관한 데이터인, 가상현실영상 재생방법.
제1 항에 있어서,
적어도 하나의 컨트롤러의 제어 정보를 표시하는 제3 레이어를 생성하는 단계; 를 더 포함하고,
상기 최종영상프레임을 생성하는 단계는,
상기 제1 레이어, 상기 제2 레이어 및 상기 제3 레이어를 합성하여 상기 최종영상프레임을 생성하는 단계; 를 포함하는, 가상현실영상 재생방법.
제2 항에 있어서,
상기 제3 레이어를 생성하는 단계는,
상기 클라이언트가 상기 적어도 하나의 컨트롤러의 동작 정보를 수신하는 단계;
상기 수신된 동작 정보를 이용하여 상기 적어도 하나의 컨트롤러의 제어 정보를 나타내는 영상을 생성하는 단계; 및
상기 생성된 영상을 상기 제3 레이어에 할당하는 단계; 를 포함하는, 가상현실영상 재생방법.
삭제
제1 항에 있어서,
상기 재생방향데이터를 획득하는 단계는,
사용자의 고개 움직임을 측정하여 상기 재생방향데이터를 획득하는 단계; 를 포함하는, 가상현실영상 재생방법.
삭제
제1 항에 있어서,
상기 제1 영상프레임을 보정하는 단계는,
상기 차이값을 바탕으로 상기 제1 영상프레임을 이동 또는 변환시켜 제2 대체영상프레임을 생성하는 단계; 를 포함하고,
상기 제1 레이어에 할당하는 단계는,
상기 생성된 제2 대체영상프레임을 상기 제1 레이어에 할당하는 단계를 포함하는, 가상현실영상 재생방법.
제1 항에 있어서,
상기 재생방향데이터 및 상기 영상방향데이터는,
고저각데이터 및 방위각데이터를 포함하며,
상기 차이값 산출단계는,
상기 제2 시점의 재생방향데이터와 상기 제1 시점의 영상방향데이터 사이의 고저각 및 방위각 차이를 산출하는 것을 특징으로 하는, 가상현실영상 재생방법.
제1 항에 있어서,
상기 재생방향데이터 및 상기 영상방향데이터는,
사용자의 정면방향을 축으로 하는 회전각도인 기울임데이터를 포함하며,
제1 영상프레임을 보정하는 단계는,
상기 제2 시점의 재생방향데이터와 상기 제1 시점의 영상방향데이터 사이의 상기 기울임데이터 차이를 바탕으로, 상기 제1 영상프레임을 회전하여 보정하는 단계; 를 더 포함하는, 가상현실영상 재생방법.
제1 항에 있어서,
제n 시점(n은 2보다 큰 자연수)에 상응하는 영상프레임이 수신되지 않으면, 제n-1 시점에 상응하는 영상방향데이터와 상기 제n 시점에 상응하는 재생방향데이터를 비교하여 차이값을 산출하는 단계; 및
상기 산출된 차이값만큼 제n-1 대체영상프레임을 보정하여 제n 대체영상프레임을 생성하는 단계; 를 더 포함하되,
상기 제n 시점은,
제n 번째의 영상프레임이 수신되는 시점으로, 상기 제n-1 시점으로부터 영상프레임의 전송주기가 경과된 시점인, 가상현실영상 재생방법.
하드웨어인 컴퓨터와 결합되어, 제1 항의 방법을 실행시키기 위하여 매체에 저장된, 가상현실영상 재생프로그램.