[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20170130883A - 하이브리드 망 기반의 가상 현실 방송 서비스 방법 및 장치 - Google Patents

하이브리드 망 기반의 가상 현실 방송 서비스 방법 및 장치 Download PDF

Info

Publication number
KR20170130883A
KR20170130883A KR1020160061681A KR20160061681A KR20170130883A KR 20170130883 A KR20170130883 A KR 20170130883A KR 1020160061681 A KR1020160061681 A KR 1020160061681A KR 20160061681 A KR20160061681 A KR 20160061681A KR 20170130883 A KR20170130883 A KR 20170130883A
Authority
KR
South Korea
Prior art keywords
stream
layer stream
network
video data
video
Prior art date
Application number
KR1020160061681A
Other languages
English (en)
Inventor
윤국진
방건
박영수
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160061681A priority Critical patent/KR20170130883A/ko
Publication of KR20170130883A publication Critical patent/KR20170130883A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/264—Image signal generators with monoscopic-to-stereoscopic image conversion using the relative movement of objects in two video frames or fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H04N21/4263—Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific tuning arrangements, e.g. two tuners
    • H04N21/42638—Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific tuning arrangements, e.g. two tuners involving a hybrid front-end, e.g. analog and digital tuners
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

하이브리드 망 기반의 가상 현실 방송 서비스 방법 및 장치가 제공된다. 입체 VR(Virtual Reality) 카메라를 통하여 획득된 영상을 토대로 제1 비디오 데이터와 제2 비디오 데이터를 생성한다. 제1 비디오 데이터를 부호화하여 제1 전송 스트림을 생성하고, 제2 비디오 데이터를 부호화하여 기본 계층 스트림과 향상계층 스트림을 생성한다. 그리고 제1 전송 스트림과 기본 계층 스트림을 제1 네트워크를 통하여 전송하고, 향상계층 스트림을 제2 네트워크를 통하여 전송한다.

Description

하이브리드 망 기반의 가상 현실 방송 서비스 방법 및 장치{Method and apparatus for virtual reality broadcasting service based on hybrid network}
본 발명은 방송 서비스 방법 및 장치에 관한 것으로, 더욱 상세하게 말하자면, 하이브리드 망(hybrid network) 기반으로 가상 현실(Virtual Reality, VR) 방송 서비스를 제공하는 방법 및 장치에 관한 것이다.
디지털 방송의 출현으로 방송국에서 일방적으로 송출한 신호를 시청하던 전통적 방송방식은 사용자가 원하는 시간에 원하는 콘텐츠만을 선택적으로 시청할 수 있는 형태로 변화하였다. 또한, 인터넷 망과의 연동으로 사용자는 방송을 시청하면서 대화형 데이터를 주고받을 수 있는 양방향 방송 서비스를 이용할 수 있게 되었다. 최근에는 광대역 전송 기술의 발전으로 대역폭 한계를 극복하면서 시청자에게 4K 이상의 고화질 실감미디어를 제공할 수 있는 실감형 방송 서비스가 실현되고 있다.
최근 디지털 방송, 인터넷 등 고해상도 비디오 서비스가 보편화 됨에 따라 초고화질(Ultra High Definition, UHD) 비디오가 새로운 서비스로 부각되고 있으며, 더불어 소비자들에게 몰임감 및 사실감을 극대화 할 수 있는 새로운 서비스에 대한 개발이 진행되고 있다. 또한, 시청자에게 실감 미디어를 서비스하기 위하여 하이브리드 망 접목을 통하여 이를 서비스하기 위한 노력이 가속화 되고 있다. 이에 발맞추어 유럽방송 표준인 DVB(Digital Video Broadcasting)에서 2016년 1월부터 VR(Virtual Reality) 방송 서비스 제공을 위한 요구사항과 관련 서비스 시나리오 논의가 진행 중에 있으며, MPEG(Moving Picture Experts Group)에서는 전방위 360도 VR 비디오에 대한 부호화 기술에 대한 표준화가 진행 중에 있다. 또한, 국내에서도 보다 넓은 화각을 제공하기 위한 파노라마 방송 및 전방위 360도 방송에 대한 논의가 진행 중에 있다.
이러한 VR 방송 서비스 관련 기술로는 다음과 같은 것들이 있다. 대한민국 특허공개 번호 제2015-0047225호에 기재된 "파노라마 비디오 서비스를 위한 방송 신호를 처리하는 방법 및 장치"는, 방송망 기반 파노라마 비디오를 서비스하기 위한 방송시스템에 관한 것으로 파노라마 비디오 방송 서비스 인식 및 관련 비디오 특성을 나타내기 위한 시그널링을 제안하고 있다. 또한, 대한민국 특허공개 번호 제2013-0024357호에 기재된 "실시간 고해상도 파노라마 영상 스트리밍 시스템 및 방법"은, 썸네일(Thumbnail) 영상을 우선 전송하고 수신기에서는 썸네일을 토대로 요청한 특정 영역의 데이터를 전송하는 방법을 제안하고 있다. 또한, 대한민국 특허공개 번호 제2012-0088507호에 기재된 "파노라마 장면에서의 네비게이션 방법"과, 대한민국 특허공개 번호 제2015-002946호에 기재된 "파노라마 영상의 스트리밍 서비스 제공 시 타일링 영상 동기화 방법"은, 파노라마 비디오를 일정 영역의 타일로 분류하고 소비자가 선택한 영역에 대한 타일의 데이터만을 전송하는 파노라마 비디오 전송방법 및 버퍼관리 방안을 제안하고 있다.
이러한 종래 기술들은 파노라마 방송 서비스를 제공하기 위한 시그널링 및 전송방법을 제안하고 있으나, 하이브리드 망을 통하여 시청자들에게 UHD 방송 서비스뿐만 아니라 전방위 360도 VR 방송 서비스를 제공하기 위한 구체적으로 방법을 제시하지 못하고 있다.
본 발명이 해결하고자 하는 과제는 하이브리드 망을 통하여 UHD 방송 서비스와 함께 다양한 형태의 VR 방송 서비스를 제공할 수 있는 방법 및 장치를 제공하는 것이다.
본 발명의 특징에 따른 방송 서비스 방법은, 제1 및 제2 네트워크를 포함하는 하이브리드 망을 통하여 방송 서비스를 제공하는 방송 서비스 방법에서, 입체 VR(Virtual Reality) 카메라를 통하여 획득된 영상을 토대로 제1 비디오 데이터와 제2 비디오 데이터를 생성하는 단계; 상기 제1 비디오 데이터를 부호화하여 제1 전송 스트림을 생성하는 단계; 상기 제2 비디오 데이터를 부호화하여 기본 계층 스트림과 향상계층 스트림을 생성하는 단계; 상기 제1 전송 스트림과 상기 기본 계층 스트림을 상기 제1 네트워크를 통하여 전송하는 단계; 및 상기 기본 계층 스트림과 상기 향상계층 스트림 중 적어도 하나를 상기 제2 네트워크를 통하여 전송하는 단계를 포함한다.
상기 제2 비디오 데이터는 제2 좌측 비디오 데이터 및 제2 우측 비디오 데이터를 포함할 수 있다. 이때, 상기 향상계층 스트림을 생성하는 단계는, 상기 제2 좌측 비디오 데이터를 부호화하여 좌영상 기본 계층 스트림과 좌영상 향상계층 스트림을 생성하는 단계; 및 상기 제2 우측 비디오 데이터를 부호화하여 우영상 기본 계층 스트림과 우영상 향상계층 스트림을 생성하는 단계중 적어도 하나를 포함할 수 있다.
이 경우, 상기 제1 네트워크를 통하여 전송하는 단계는, 상기 좌영상 기본 계층 스트림과 상기 우영상 기본 계층 스트림 중 하나와, 상기 제1 전송 스트림을 상기 제1 네트워크를 통하여 전송할 수 있다. 그리고 상기 제2 네트워크를 통하여 전송하는 단계는, 상기 좌영상 기본 계층 스트림, 상기 좌영상 향상계층 스트림, 상기 우영상 기본 계층 스트림 그리고 상기 우영상 향상계층 스트림 중 적어도 하나를 상기 제2 네트워크를 통하여 전송할 수 있다.
한편, 상기 향상계층 스트림을 생성하는 단계는, 시청자 선택 또는 주시 화면(View of Interest, VoI)별로 각각 좌영상 향상계층 스트림 또는 우영상 향상계층 스트림을 생성할 수 있다.
이 경우, 상기 향상계층 스트림을 생성하는 단계는, 상기 제2 좌측 비디오 데이터를 부호화하여 좌영상 기본 계층 스트림을 생성하는 단계; VoI별로 상기 좌영상 기본 계층 스트림을 참조하여 향상 스트림을 부호화하여 좌영상 향상계층 스트림을 생성하는 단계; 상기 제2 좌측 비디오 데이터를 참조하여, 상기 제2 우측 비디오 데이터를 부호화하여 우영상 기본 계층 스트림을 생성하는 단계; 및 VoI별로 상기 우영상 기본 계층 스트림과 상기 좌영상 향상계층 스트림을 참조하여 향상 스트림을 부호화하여 우영상 향상계층 스트림을 생성하는 단계를 포함할 수 있다.
한편, 상기 제1 네트워크를 통하여 전송하는 단계는, 상기 좌영상 기본 계층 스트림과 상기 제1 전송 스트림을 상기 제1 네트워크를 통하여 전송할 수 있으며, 상기 제2 네트워크를 통하여 전송하는 단계는, 사용자 선택 모드가 4K 전방위 입체 VR 모드인 경우, 상기 좌영상 향상계층 스트림, 상기 우영상 기본 계층 스트림 그리고 상기 우영상 향상계층 스트림 모두를 상기 제2 네트워크를 통하여 전송하는 단계; 상기 사용자 선택 모드가 FHD(Full High Definition) 전방위 입체 VR 모드인 경우, 상기 우영상 기본 계층 스트림을 상기 제2 네트워크를 통하여 전송하는 단계; 및 상기 사용자 선택 모드가 4K 전방위 VR 모드인 경우, 상기 좌영상 향상계층 스트림을 상기 제2 네트워크를 통하여 전송하는 단계 중 적어도 하나를 포함할 수 있다.
상기 제1 네트워크를 통하여 전송하는 단계는 상기 좌영상 기본 계층 스트림과 상기 우영상 기본 계층 스트림 중 하나와, 상기 제1 전송 스트림을 UHD TV 방송 서비스를 제공하기 채널 또는 PLP(Physical Layer Pipe)로 전송할 수 있다. 상기 제1 네트워크는 방송망이고, 상기 제2 네트워크는 IP(Internet Protocol) 망이며, 상기 제1 비디오 데이터는 UHD(Ultra High Definition) 비디오 데이터이고, 상기 제2 좌측 비디오 데이터는 전방위 360도 VR 좌측 비디오 데이터이며, 상기 제2 우측 비디오 데이터는 전방위 360도 VR 우측 비디오 데이터일 수 있다.
또한, 상기 제1 네트워크를 통하여 전송하는 단계는, 상기 제2 네트워크를 통하여 전송되는 상기 기본 계층 스트림과 향상계층 스트림에 대한 정보를 기술하는 MPD(Media Presentation Description) 경로 정보를 추가적으로 전송할 수 있다.
본 발명의 다른 특징에 따른 방송 서비스 시스템은, 제1 및 제2 네트워크를 포함하는 하이브리드 망을 통하여 방송 서비스를 제공하는 방송 시스템에서, 입체 VR(Virtual Reality) 카메라를 통하여 획득된 영상을 토대로 제1 비디오 데이터, 제2 좌측 비디오 데이터 및 제2 우측 비디오 데이터를 생성하는 전방위 입체 VR 획득 장치; 상기 제1 비디오 데이터를 부호화하여 제1 전송 스트림을 생성하는 제1 인코더; 상기 제2 좌측 비디오 데이터를 부호화하여 좌영상 기본 계층 스트림과 좌영상 향상계층 스트림을 생성하고, 상기 제2 우측 비디오 데이터를 부호화하여 우영상 기본 계층 스트림과 우영상 향상계층 스트림을 생성하는 제2 인코더; 및 상기 좌영상 기본 계층 스트림과 상기 우영상 기본 계층 스트림 중의 하나와 상기 제1 전송 스트림을 상기 제1 네트워크를 통하여 전송하고, 상기 좌영상 기본 계층 스트림, 상기 좌영상 향상계층 스트림, 상기 우영상 기본 계층 스트림 그리고 상기 우영상 향상계층 스트림 중 적어도 하나를 상기 제2 네트워크를 통하여 전송하는 방송 서버를 포함한다.
여기서, 상기 제1 네트워크는 방송망이고, 상기 제2 네트워크는 IP 망이며, 상기 제1 비디오 데이터는 UHD 비디오 데이터이고, 상기 제2 좌측 비디오 데이터는 전방위 360도 VR 좌측 비디오 데이터이며, 상기 제2 우측 비디오 데이터는 전방위 360도 VR 우측 비디오 데이터일 수 있다.
상기 제2 인코더는, 상기 제2 좌측 비디오 데이터를 부호화하여 좌영상 기본 계층 스트림을 생성하는 제1 기본 계층 부호 처리부; VoI별로 상기 좌영상 기본 계층 스트림을 참조하여 향상 스트림을 부호화하여 좌영상 향상계층 스트림을 생성하는 제1 향상 계층 부호 처리부; 상기 제2 좌측 비디오 데이터를 참조하여, 상기 제2 우측 비디오 데이터를 부호화하여 우영상 기본 계층 스트림을 생성하는 제2 기본 계층 부호 처리부; 및 VoI별로 상기 우영상 기본 계층 스트림과 상기 좌영상 향상계층 스트림을 참조하여 향상 스트림을 부호화하여 우영상 향상계층 스트림을 생성하는 제2 향상 계층 부호 처리부를 포함할 수 있다.
상기 방송 서버는, 상기 제1 전송 스트림과 상기 좌영상 기본 계층 스트림을 각각 다중화하여 상기 제1 네트워크를 통하여 전송하는 제1 전송 처리부; 상기 우영상 기본 계층 스트림과, 상기 좌영상 향상계층 스트림 그리고 상기 우영상 향상계층 스트림을 처리하여 상기 제2 네트워를 통하여 전송하기 위한 스트림으로 처리하는 제2 전송 처리부; 및 상기 제2 전송 처리부로부터 전달되는 상기 우영상 기본 계층 스트림과, 상기 좌영상 향상계층 스트림 그리고 상기 우영상 향상계층 스트림을 사용자 선택 모드에 따라 선택적으로 상기 제2 네트워크를 통하여 전송하는 전송 서버를 포함할 수 있다.
상기 제1 전송 처리부는, 상기 제1 전송 스트림과 상기 좌영상 기본 계층 스트림을 ROUTE(Real-time Object Delivery over Unidirectional Transport) 또는 MMTP(MPEG Media Transport Protocol)로 다중화 하여 전송 스트림을 생성하고 이를 UHD TV 방송 서비스를 제공하기 위한 채널 또는 PLP를 통하여 전송할 수 있다.
상기 제1 전송 처리부는, 상기 제2 네트워크를 통하여 전송되는 상기 좌영상 향상계층 스트림, 상기 우영상 기본 계층 스트림 그리고 상기 우영상 향상계층 스트림에 대한 정보를 기술하는 MPD(Media Presentation Description) 경로 정보를 추가적으로 전송할 수 있다.
상기 제2 전송 처리부는, 상기 우영상 기본 계층 스트림과, 상기 좌영상 향상계층 스트림 그리고 상기 우영상 향상계층 스트림을 ISOBMFF(ISO based Media File Format)) 또는 전송 스트림(Transport Stream, TS)으로 처리할 수 있다.
상기 전송 서버는, 상기 제2 전송 처리부로부터 전달되는 스트림들을 MPEG-DASH(Dynamic Adaptive Streaming over HTTP) 따라 다수의 세그먼트(segment)들로 분할하여 전송할 수 있다.
본 발명의 또 다른 특징에 따른 수신 장치는, 제1 및 제2 네트워크를 포함하는 하이브리드 망을 통하여 제공되는 방송 서비스를 수신하는 수신 장치에서, 상기 제1 네트워크를 통하여 전송되는 스트림을 역다중화하여 제1 전송 스트림과 좌영상 기본 계층 스트림을 획득하는 역다중화기; 상기 제1 전송 스트림을 디코딩하여 제1 비디오 데이터를 출력하는 제1 디코더; 상기 좌영상 기본 계층 스트림을 디코딩하여 제2 좌측 비디오 데이터를 출력하는 제2 디코더; 상기 제2 네트워크를 통하여 전송되는 스트림을 처리하여 제2 우측 비디오 데이터와 향상계층 비디오 데이터를 출력하는 클라이언트 처리부; 및 상기 제1 비디오 데이터, 상기 제2 좌측 비디오 데이터, 상기 제2 우측 비디오 데이터 그리고 상기 향상계층 비디오 데이터를 선택적으로 조합하여 비디오를 재생하는 재생기를 포함하며, 상기 제2 네트워크를 통하여 전송되는 스트림은, 우영상 기본 계층 스트림, VoI별 좌영상 향상계층 스트림 및 VoI별 우영상 향상계층 스트림 중 적어도 하나를 포함할 수 있다.
상기 제1 네트워크를 통하여 전송되는 스트림은 상기 제2 네트워크를 통하여 전송되는 스트림에 대한 정보를 기술하는 MPD(Media Presentation Description) 경로 정보를 포함할 수 있다.
상기 클라이언트 처리부는, 사용자 선택 모드에 따라 세그먼트 파일 정보를 제공하는 세그먼트 관리부; 상기 경로 정보를 토대로 초기 세그먼트 파일 요청을 수행하고, 상기 세그먼트 파일 정보에 따라 상기 제2 네트워크를 통하여 방송 시스템으로 세그먼트 파일을 요청하는 MPD 관리부; 상기 MPD 관리부로부터의 요청에 따라 상기 제2 네트워크를 통하여 전송되는 스트림에 대응하는 세그먼트 파일들을 수신하는 세그먼트 파일 파싱부; 및 상기 세그먼트 파일 파싱부로부터 전달되는 파일들을 디코딩하여 상기 제2 우측 비디오 데이터 그리고 상기 향상계층 비디오 데이터를 출력하는 입체 VR 디코더를 포함할 수 있다.
상기 클라이언트 처리부는, 상기 사용자 선택 모드가 4K 전방위 입체 VR 모드인 경우, 상기 제2 네크워크를 통하여 우영상 기본 계층 스트림, VoI별 좌영상 향상계층 스트림 및 VoI별 우영상 향상계층 스트림을 요청하여 수신하고, 상기 사용자 선택 모드가 FHD 전방위 입체 VR 모드인 경우, 상기 제2 네트워크를 통하여 우영상 기본 계층 스트림을 요청하여 수신하며, 상기 사용자 선택 모드가 4K 전방위 VR 모드인 경우, 상기 제2 네트워크를 통하여 VoI별 좌영상 향상계층 스트림을 요청하여 수신할 수 있다.
본 발명의 실시 예에 따르면, 하이브리드 망을 통하여 UHD 방송 서비스, FHD(Full HD) 360도 VR 방송 서비스, 4K 360도 VR 방송 서비스 및 전방위 360도 입체 VR 방송 서비스 등 다양한 형태의 VR 방송 서비스를 제공할 수 있다.
기존 디지털 방송 플랫폼 또는 ATSC3.0 방송 플랫폼을 기반으로 시청자에게 UHD 방송 서비스뿐만 아니라, FHD 전방위 VR 방송 서비스, 4K 전방위 VR 방송 서비스, FHD 전방위 입체 VR 방송 서비스 및 4K 전방위 입체 VR 방송 서비스를 제공할 수 있으므로, 다양한 실감 방송 서비스를 제공할 수 있다.
도 1은 본 발명의 실시 예에 따른 하이브리드 망 기반의 방송 서비스를 제공하는 방송 시스템의 구조를 개략적으로 나타낸 도이다.
도 2는 본 발명의 실시 예에 따른 방송 시스템의 방송 서비스 제공 예를 나타낸 도이다.
도 3은 본 발명의 실시 예에 따른 전방위 입체 VR 인코더의 구조를 나타낸 도이다.
도 4는 본 발명의 실시 예에 따른 전방위 입체 VR 인코더의 처리 동작을 나타낸 도이다.
도 5는 본 발명의 실시 예에 따른 입체 VR 방송 서버의 구조를 나타낸 도이다.
도 6은 본 발명의 실시 예에 따른 전방위 입체 VR 수신 장치의 구조를 나타낸 도이다.
도 7은 본 발명의 실시 예에 따른 방송 서비스 방법의 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명의 실시 예에서 방송망에 적용되는 스트림은 MPEG-2(moving pictures exports group-2) TS(transport stream) 또는 ROTUE(Real-time Object Delivery over Unidirectional Transport) 또는 MMTP(MPEG Media Transport Protocol)가 될 수 있다. ROUTE 및 MMTP는 현재 ATSC 3.0에서 표준화 진행 중인 방송망 전송 스트림 다중화 규격을 나타낸다. 또한, 인터넷 망으로 전송되는 전송 스트림은 MPEG-DASH(Dynamic Adaptive Streaming over HTTP) 규격을 따른다. 그러나 본 발명은 반드시 이에 한정되는 것은 아니다.
이하, 도면을 참조하여 본 발명의 실시 예에 따른 하이브리드 망 기반의 가상 현실 방송 서비스 방법 및 장치에 대하여 설명한다.
도 1은 본 발명의 실시 예에 따른 하이브리드 망 기반의 방송 서비스를 제공하는 방송 시스템의 구조를 개략적으로 나타낸 도이고, 도 2는 본 발명의 실시 예에 따른 방송 시스템의 방송 서비스 제공 예를 나타낸 도이다.
첨부한 도 1에서와 같이, 본 발명의 실시 예에 따른 하이브리드 망 기반의 방송 시스템(1)은, 전방위 입체 VR 획득 장치(10), HEVC(High Efficiency Video Codec) 인코더(20), 전방위 입체 VR 인코더(30), 입체 VR 방송 서버(40)을 포함하며, 방송 시스템(1)으로부터 제공되는 방송 서비스를 입체 VR 수신 장치(2)가 수신한다.
본 발명의 실시 예에서는 하이브리드망 기반의 방송 플랫폼을 통하여 다양한 방송 서비스를 제공하며, 예를 들어, 도 2에서와 같이, UHD(Ultra High Definition) 방송 서비스, FHD(Full High Definition) 360도 VR 방송 서비스, 4K 360도 VR 방송 서비스 및 모드 선택에 따른 전방위 360도 입체 VR 방송 서비스 등을 제공한다.
방송 플랫폼은 지상파/케이블/IPTV(Internet Protocol TV) 등 다양한 디지털 방송 서비스 플랫폼일 수 있으며, 최근 표준으로 제정된 ATSC 3.0 기반의 서비스 플랫폼까지 포함할 수 있다. 하이브리드 망은 다양한 채널 또는 PLP(Physical Layer Pipe)의 방송 채널과 IP 채널이 결합되어 구성된다.
전방위 입체 VR 획득 장치(10)는 소정 해상도(예를 들어, 4K 해상도)를 지원하는 입체 VR 카메라를 통하여 획득된 영상을 토대로 비디오 데이터를 출력한다. 전방위 입체 VR 획득 장치(10)는 예를 들어, UHD 비디오 데이터, 전방위 360도 VR 좌측 비디오 데이터, 및 전방위 360도 VR 우측 비디오 데이터를 출력한다. 하나의 카메라에서 찍힌 영상이 그대로 UHD 비디오 데이터로 사용되거나, 전방위 360도 VR에서 일부 영역의 영상이 UHD 비디오 데이터에 적용 될 수 있다.
HEVC인코더(20)는 UHD 비디오 데이터를 부호화한다. UHD 비디오 데이터는 ATSC3.0 방송 플랫폼에 그대로 적용됨으로써 역 호환성을 제공할 수 있다.
전방위 입체 VR 인코더(30)는 전방위 360도 VR 좌측 비디오 데이터와 전방위 360도 VR 우측 비디오 데이터를 부호화한다.
도 3은 본 발명의 실시 예에 따른 전방위 입체 VR 인코더의 구조를 나타낸 도이며, 도 4는 본 발명의 실시 예에 따른 전방위 입체 VR 인코더의 처리 동작을 나타낸 도이다.
첨부한 도 3에서와 같이, 본 발명의 실시 예에 따른 전방위 입체 VR 인코더(30)는, 제1 기본 계층(base layer) 부호 처리부(31), 제1 향상 계층(enhance layer) 부호 처리부(32), 제2 기본 계층 부호 처리부(33), 및 제2 향상 계층 부호 처리부(34)를 포함한다.
이러한 구조로 이루어지는 전방위 입체 VR 인코더(30)는, HEVC 기반으로, 전방위 360도 VR 좌측 비디오 데이터와 전방위 360도 VR 우측 비디오 데이터를 부호화하여, 기본 계층의 스트림을 출력하고, 향상 계층의 스트림을 출력한다. 기본 계층의 스트림은 FHD 전방위 360도 비디오 스트림으로 구성되며, 향상 계층의 스트림은 사용자 선택 또는 주시 화면(View of Interest, VoI)에 대하여 고해상도(예를 들어, 4K 이상의 고해상도) 화질을 제공하기 위한 향상 스트림을 포함한다.
첨부한 도 4에서와 같이, 전방위 입체 VR 인코더(30)의 제1 기본 계층 부호 처리부(31)는 입력되는 전방위 360도 VR 좌측 비디오 데이터를 HEVC로 부호화하여 좌영상의 기본 계층의 스트림을 형성하며, 제1 향상 계층 부호 처리부(32)는 VoI별로 제1 기본 계층 부호 처리부(31)로부터 출력되는 기본 계층의 정보를 참조하여 향상 스트림을 부호화하여 좌영상의 향상 계층의 스트림을 형성한다. 이때 사용자가 선택한 VoI 기반의 향상 스트림은 VoI별로 최소 4K 해상도를 가진다. 이에 따라, FHD 전방위 360도 비디오(좌영상) 스트림과 VoI별 좌영상 향상계층 스트림(1~N)이 출력된다.
또한, 전방위 입체 VR 서비스를 제공하기 위하여, 제2 기본 계층 부호 처리부(33)는, 전방위 360도 VR 좌측 비디오 데이터를 참조하여, 입력되는 전방위 360도 VR 우측 비디오 데이터를 부호화하여 우영상의 기본 계층의 스트림을 형성한다. 그리고 제2 향상 계층 부호 처리부(34)는 제2 기본 계층 부호 처리부(33)로부터 출력되는 기본 계층의 정보뿐만 아니라 제1 향상 계층 부호 처리부(32)로부터 제공되는 좌영상의 향상 계층의 정보를 참조하여 향상 스트림을 부호화하여 우영상의 향상 계층의 스트림을 형성한다. 이에 따라, FHD 전방위 360도 비디오(우영상) 스트림과 VoI별 우영상 향상계층 스트림(1~N)이 출력된다.
이와 같이 동작하는 전방위 입체 VR 인코더(30)는 기존 FHD 360도 VR 기기와의 역 호환성을 제공한다.
한편, 입체 VR 방송 서버(40)는, HEVC인코더(20) 및 전방위 입체 VR 인코더(30)로부터 제공되는 스트림을 토대로 방송 서비스를 제공한다.
도 5는 본 발명의 실시 예에 따른 입체 VR 방송 서버의 구조를 나타낸 도이다.
첨부한 도 5에서와 같이, 본 발명의 실시 예에 따른 입체 VR 방송 서버(40)는, 제1 전송 처리부(41), 제2 전송 처리부(42) 및 전송 서버(43)를 포함한다.
본 발명의 실시 예에 따른 입체 VR 방송 서버(40)는 방송 플랫폼(예를 들어, TSC3.0 방송 플랫폼)을 토대로 전방위 입체 VR 방송 서비스를 제공한다.
이를 위하여, 제1 전송 처리부(41)는 HEVC 인코더(20)로부터 출력되는 부호화된 UHD 비디오 데이터 즉, UHD 스트림(4K UHD 스트림)과 전방위 입체 VR 인코더(30)로부터 출력되는 FHD 전방위 360도 비디오(좌영상) 스트림을 각각 다중화하여 방송 서비스를 제공하는 채널로 전송한다. 구체적으로, 제1 전송 처리부(41)는 UHD 스트림을 기존 ROUTE(Real-time Object Delivery over Unidirectional Transport) 또는 MMTP(MPEG Media Transport Protocol)로 다중화 하여 전송 스트림을 생성하고 이를 방송망 예를 들어, UHD TV 방송 서비스를 제공하기 위한 채널 또는 PLP(physical layer pipes)를 통하여 전송한다. 또한, 제1 전송 처리부(41)는 FHD 전방위 360도 비디오(좌영상) 스트림을 UHD 스트림과 마찬가지로, ROUTE 또는 MMT로 다중화하여 전송 스트림을 생성하며 이를 UHD TV 방송 서비스를 제공하기 위한 채널 또는 모바일 PLP로 전송한다. 이와 같이, 방송망을 통하여 FHD 전방위 360도 비디오 스트림을 추가적으로 전송함으로써, 시청자는 UHD 방송 서비스뿐만 아니라 다양한 스마트 모바일 기기에서 VR 서비스를 제공받을 수 있게 된다. 또한, PLP로 전송되는 다중화된 전송 스트림은 IP 망으로 전송되는 전방위 360도 비디오(우영상) 스트림 및 VoI별 좌/우영상 향상계층 스트림에 대한 정보를 기술하는 MPD(Media Presentation Description) 경로 정보를 포함한다.
제2 전송 처리부(42)는 전방위 입체 VR 인코더(30)로부터 제공되는 FHD 전방위 360도 비디오(우영상) 스트림, VoI별 좌영상 향상계층 스트림 및 VoI별 우영상 향상계층 스트림을 IP 망을 통하여 전송하기 위한 스트림으로 처리한다. 구체적으로, 제2 전송 처리부(42)는 FHD 전방위 360도 비디오(우영상) 스트림을 소정 파일 포맷(예를 들어, ISOBMFF(ISO based Media File Format)) 또는 전송 스트림(Transport Stream, TS)으로 처리하여 전송 서버(43)로 제공한다.
전송 서버(43)는 제2 전송 처리부(42)로부터 제공되는 스트림을 IP 망을 통하여 전송한다. 시청자가 FHD 전방위 360도 입체 VR 방송 서비스를 제공받길 원하는 경우, 전송 서버(43)는 IP망을 통하여 FHD 전방위 360도 비디오(우영상) 파일을 MPEG-DASH(Dynamic Adaptive Streaming over HTTP) 따라 다수의 세그먼트(segment)들로 분할하여 전송한다. 이러한 전송 서버(43)는 DASH 서버라고도 명명될 수 있다.
한편, VoI별 좌/우영상 향상계층 스트림은 시청자가 선택 또는 주시 화면(VoI)에 대하여 고해상도의 화질을 제공하기 위한 정보를 포함한 것이며, 제2 전송 처리부(42)는 VoI 개수에 따라 VoI별 좌/우영상 향상계층 스트림을 소정 포맷 파일(예: ISOBMFF) 또는 TS 파일로 변환하여 전송 서버(43)에 저장한다.
전송 서버(43)는 전방위 입체 VR 방송 서비스를 원할 경우, IP 망을 통하여 FHD 전방위 VR 비디오(우영상) 스트림과 VoI별 좌/우영상 향상계층 스트림을 모두 전송한다.
따라서, 시청자는 방송망을 통하여 전송된 FHD 전방위 360도 비디오를 토대로 FHD 화질의 전방위 VR 서비스를 제공받으면서, 시청자가 선택 또는 주시하고 있는 화면에 대해서는 IP망을 통하여 VoI별 좌/우영상 향상계층 스트림을 제공받음에 따라 4K 고화질의 전방위 VR 방송 서비스를 제공받게 된다.
또한, VoI에 대하여 시청자가 4K 고화질의 전방위 입체 VR 방송 서비스를 원할 경우 시청자 요청에 따라 전송서버는 IP망을 통하여 FHD 전방위 VR 비디오(우영상), VoI별 좌/우영상 향상계층 스트림을 모두 전송하게 된다. 이와 같이, 방송망을 통하여 UHD 및 FHD 전방위 360도 비디오를 제공함과 동시에 시청자 요청에 따라 해당 스트림을 IP망을 전송함으로써 시청자에게 몰입감 및 사실감을 극대화 할 수 있는 실감 미디어를 제공하게 된다. 또한 전송 서버(43)는 ATSC3.0과 같은 방송플랫폼을 그대로 유지하면서 기존의 다양한 단말과의 역 호환성을 제공할 수 있으며, FHD 또는 4K 전방위 VR 방송 서비스, FHD 또는 4K 전방위 입체 VR 방송 서비스를 제공할 수 있다.
다음에는 수신 장치의 구조에 대하여 설명한다.
도 6은 본 발명의 실시 예에 따른 전방위 입체 VR 수신 장치의 구조를 나타낸 도이다.
첨부한 도 6에서와 같이, 본 발명의 실시 예에 따른 전방위 입체 VR 수신 장치(2)는, 역다중화기(21), 제1 및 제2 HEVC 디코더(22, 23), 클라이언트 처리부(24) 및 재생기(25)를 포함한다.
역다중화기(21)는 UHD TV 방송 서비스를 제공하기 위한 채널 또는 PLP를 통하여 수신되는 스트림을 역다중화한다. 구체적으로, 방송 시스템(1)으로부터 전송되는 UHD 스트림 및 FHD 전방위 360도 비디오(좌영상) 스트림을 역다중화(예를 들어, ROUTE 또는 MMT기반 역다중화)한다.
제1 HEVC 디코더(22)는 역다중화기(21)로부터 출력되는 스트림을 디코딩하여 UHD 비디오를 출력한다. 제2 제1 HEVC 디코더(23)는 역다중화기(21)로부터 출력되는 스트림을 디코딩하여 FHD 전방위 VR 비디오(좌영상)을 출력한다.
클라이언트 처리부(24)는 IP 망을 통하여 수신되는 스트림 및 전송 파일을 처리하여, FHD 전방위 360도 비디오(우영상) 및 VoI별 좌/우영상 향상계층 비디오를 출력한다.
이를 위하여, 클라이언트 처리부(24)는 도 6에서와 같이, MPD 관리부(manager)(241), 세그먼트 관리부(242), MPD 분석기(analyzer)(243), 세그먼트 파일 파싱부(parser)(244), 및 전방위 입체 VR 디코더(245)를 포함한다.
MPD 관리부(241)는 방송망으로 전송된 MPD URI로부터 획득된 경로 정보를 토대로 초기 세그먼트(Initial segment) 파일 요청 및 주기적으로 MPD를 갱신 및 /관리하는 기능을 수행한다. 경로 정보는 역다중화기(21)로부터 제공받는다. 또한, MPD 관리부(241)는 세그먼트 관리부(242)로부터 전달받은 정보를 토대로 사용자 인터랙션에 따른 FHD 전방위 360도 비디오(우영상) 스트림 또는 VoI별 좌/우영상 향상계층 스트림에 해당하는 세그먼트 파일을 요청하는 기능을 수행한다.
세그먼트 관리부(242)는 현재 IP 망 조건에서 수신 가능한 세그먼트 파일 정보를 MPD 관리부(241)에 제공하며, 네트워크 상황에 따라 안정적인 서비스를 제공하기 위한 세그먼트 파일들을 스위칭하기 위한 정보를 제공한다. 또한 세그먼트 관리부(242)는 사용자 인터랙션에 따른(예를 들어, 사용자 선택 모드에 따른) FHD 전방위 360도 비디오(우영상) 스트림 또는 VoI별 좌/우영상 향상계층 스트림에 해당하는 세그먼트 파일 정보를 MPD 관리부(241)에 제공한다.
MPD 분석기(243)는 방송 시스템(1)으로부터 예를 들어, MPEG-DASH 표준에 따라 전송되는 MPD 파일을 수신하고, 수신된 MPD 파일의 유효성을 확인하고, MPD에 기술된 각 미디어의 요소(Element)와 속성(Attribute) 정보를 획득하고 분석한다.
세그먼트 파일 파싱부(244)는 IP 망을 통해 전송된 전송 파일들 즉, 세그먼트 단위로 전송되는 세그먼트 파일들을 분석하고 해당 부호화 스트림을 전방위 입체 VR 디코더(245)로 전달한다.
전방위 입체 VR 디코더(245)는 세그먼트 파일 파싱부(244)로부터 전달되는 스트림 즉, FHD 전방위 360도 비디오(우영상) 스트림 또는 VoI별 좌/우영상 향상계층 스트림을 복호화하여, FHD 전방위 360도 비디오(우영상) 및 VoI별 좌/우영상 향상계층 비디오를 출력한다.
한편, 재생기(25)는 제1 및 제2 HEVC 디코더(22, 23)로부터 각각 제공되는 UHD 비디오 및 FHD 전방위 VR 비디오(좌영상), 그리고 클라이언트 처리부(24)로부터 제공되는 FHD 전방위 360도 비디오(우영상) 및 VoI별 좌/우영상 향상계층 비디오를 토대로, 4K UHD 비디오뿐만 아니라 FHD/4K 전방위 360도 VR 비디오 또는 FHD/4K 전방위 360도 입체 VR 비디오를 재생한다. 이때 다양한 VR 기기 및 모바일 디바이스가 전방위 입체 VR 수신 장치(2)와 연결될 경우, 해당 수신 장치(2)는 일종의 서버역할을 수행하며 다양한 VR 및 모바일 기기는 일종의 디스플레이 역할을 하게 된다.
이러한 구조로 이루어지는 전방위 입체 VR 수신 장치(2)는 방송망을 통하여 UHD 비디오 스트림 및 FHD 전방위 VR 스트림(좌영상)을 수신하며, 사용자 선택 모드에 따라 IP 망을 통하여 수신되는 스트림이 달라질 수 있다. 사용자 선택 모드는 4K 전방위 VR 모드, FHD 전방위 입체 VR 모드, 및 4K 전방위 입체 VR 모드를 포함하며, 각 사용자 선택 모드별로 수신되는 스트림은 다음과 같다.
· 4K 전방위 VR 모드
전방위 입체 VR 수신 장치(2)는 방송 시스템(1)의 입체 VR 방송 서버(40)에 VoI별 좌영상 향상계층 스트림(세그먼트 파일)을 요청 및 수신한다.
· FHD 전방위 입체 VR 모드
전방위 입체 VR 수신 장치(2)는 방송 시스템(1)의 입체 VR 방송 서버(40)에 FHD 전방위 VR 스트림(우영상 세그먼트 파일)을 요청 및 수신한다.
· 4K 전방위 입체 VR 모드
전방위 입체 VR 수신 장치(2)는 방송 시스템(1)의 입체 VR 방송 서버(40)에 FHD 전방위 VR 스트림(우영상 세그먼트 파일) 및 VoI별 4K 좌/우영상 향상계층 스트림(세그먼트 파일)을 요청 및 수신한다.
도 7은 본 발명의 실시 예에 따른 방송 서비스 방법의 흐름도이다.
방송 시스템(1)은 입체 VR 카메라를 통하여 획득된 영상을 토대로 UHD 비디오 데이터, 전방위 360도 VR 좌측 비디오 데이터, 및 전방위 360도 VR 우측 비디오 데이터를 생성한다(S100).
UHD 비디오 데이터를 부호화하여 UHD 스트림을 생성하고(S110), 전방위 360도 VR 좌측 비디오 데이터를 부호화하여 FHD 전방위 360도 비디오(좌영상) 스트림(좌영상 기본계층 스트림이라고도 명명함)과 VoI별 좌영상 향상계층 스트림(1~N)을 생성한다(S120). 그리고 전방위 360도 VR 우측 비디오 데이터를 부호화하여 FHD 전방위 360도 비디오(우영상) 스트림(우영상 기본계층 스트림이라고도 명명함)과 VoI별 우영상 향상계층 스트림(1~N)을 생성한다(S130).
이후, 방송 시스템(1)은 UHD 스트림을 다중화하여 전송 스트림을 생성하며, FHD 전방위 360도 비디오(예: 좌영상) 스트림을 다중화하여 전송 스트림을 생성한다. 그리고 생성된 전송 스트림을 방송망을 통하여 전송한다(S140, S150).
한편, 방송 시스템(1)은 FHD 전방위 360도 비디오(예: 우영상) 스트림을 소정 파일 포맷으로 처리하고 다수의 세그먼트들로 분할하여 전송 스트림을 생성한다. 그리고 시청자 선택 또는 주시 화면(VoI)에 대하여 고해상도의 화질을 제공하기 위한 정보를 포함한 VoI별 좌/우영상 향상계층 스트림을 소정 파일 포맷으로 처리하고 다수의 세그먼트들로 분할하여 전송 스트림을 생성한다. 그리고 시청자 선택에 따라 FHD 전방위 360도 비디오(우영상) 스트림과 VoI별 좌/우영상 향상계층 스트림을 선택적으로 전송한다(S160).
예를 들어, 방송 시스템(1)은 사용자 선택 모드가 4K 전방위 입체 VR 모드인 경우, 즉, 4K 고화질의 전방위 입체 VR 방송서비스를 원할 경우, IP망을 통하여 FHD 전방위 VR 비디오(우영상) 스트림과 VoI별 좌/우영상 향상계층 스트림을 모두 전송한다. 또한, 사용자 선택 모드가 FHD 전방위 입체 VR 모드인 경우, IP망을 통하여 FHD 전방위 VR 비디오(우영상) 스트림을 전송한다. 또한, 사용자 선택 모드가 4K 전방위 VR 모드인 경우, IP망을 통하여 VoI별 좌영상 향상계층 스트림을 전송한다.
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (20)

  1. 제1 및 제2 네트워크를 포함하는 하이브리드 망을 통하여 방송 서비스를 제공하는 방송 서비스 방법에서,
    입체 VR(Virtual Reality) 카메라를 통하여 획득된 영상을 토대로 제1 비디오 데이터와 제2 비디오 데이터를 생성하는 단계;
    상기 제1 비디오 데이터를 부호화하여 제1 전송 스트림을 생성하는 단계;
    상기 제2 비디오 데이터를 부호화하여 기본 계층 스트림과 향상계층 스트림을 생성하는 단계;
    상기 제1 전송 스트림과 상기 기본 계층 스트림을 상기 제1 네트워크를 통하여 전송하는 단계; 및
    상기 기본 계층 스트림과 상기 향상계층 스트림 중 적어도 하나를 상기 제2 네트워크를 통하여 전송하는 단계
    를 포함하는, 방송 서비스 방법.
  2. 제1항에 있어서
    상기 제2 비디오 데이터는 제2 좌측 비디오 데이터 및 제2 우측 비디오 데이터를 포함하며,
    상기 향상계층 스트림을 생성하는 단계는,
    상기 제2 좌측 비디오 데이터를 부호화하여 좌영상 기본 계층 스트림과 좌영상 향상계층 스트림을 생성하는 단계; 및
    상기 제2 우측 비디오 데이터를 부호화하여 우영상 기본 계층 스트림과 우영상 향상계층 스트림을 생성하는 단계
    중 적어도 하나를 포함하는, 방송 서비스 방법.
  3. 제2항에 있어서
    상기 제1 네트워크를 통하여 전송하는 단계는, 상기 좌영상 기본 계층 스트림과 상기 우영상 기본 계층 스트림 중 하나와, 상기 제1 전송 스트림을 상기 제1 네트워크를 통하여 전송하며,
    상기 제2 네트워크를 통하여 전송하는 단계는, 상기 좌영상 기본 계층 스트림, 상기 좌영상 향상계층 스트림, 상기 우영상 기본 계층 스트림 그리고 상기 우영상 향상계층 스트림 중 적어도 하나를 상기 제2 네트워크를 통하여 전송하는, 방송 서비스 방법.
  4. 제2항에 있어서
    상기 향상계층 스트림을 생성하는 단계는, 시청자 선택 또는 주시 화면(View of Interest, VoI)별로 각각 좌영상 향상계층 스트림 또는 우영상 향상계층 스트림을 생성하는, 방송 서비스 방법.
  5. 제4항에 있어서
    상기 향상계층 스트림을 생성하는 단계는,
    상기 제2 좌측 비디오 데이터를 부호화하여 좌영상 기본 계층 스트림을 생성하는 단계;
    VoI별로 상기 좌영상 기본 계층 스트림을 참조하여 향상 스트림을 부호화하여 좌영상 향상계층 스트림을 생성하는 단계;
    상기 제2 좌측 비디오 데이터를 참조하여, 상기 제2 우측 비디오 데이터를 부호화하여 우영상 기본 계층 스트림을 생성하는 단계; 및
    VoI별로 상기 우영상 기본 계층 스트림과 상기 좌영상 향상계층 스트림을 참조하여 향상 스트림을 부호화하여 우영상 향상계층 스트림을 생성하는 단계
    를 포함하는, 방송 서비스 방법.
  6. 제3항에 있어서
    상기 제1 네트워크를 통하여 전송하는 단계는, 상기 좌영상 기본 계층 스트림과 상기 제1 전송 스트림을 상기 제1 네트워크를 통하여 전송하며,
    상기 제2 네트워크를 통하여 전송하는 단계는,
    사용자 선택 모드가 4K 전방위 입체 VR 모드인 경우, 상기 좌영상 향상계층 스트림, 상기 우영상 기본 계층 스트림 그리고 상기 우영상 향상계층 스트림 모두를 상기 제2 네트워크를 통하여 전송하는 단계;
    상기 사용자 선택 모드가 FHD(Full High Definition) 전방위 입체 VR 모드인 경우, 상기 우영상 기본 계층 스트림을 상기 제2 네트워크를 통하여 전송하는 단계; 및
    상기 사용자 선택 모드가 4K 전방위 VR 모드인 경우, 상기 좌영상 향상계층 스트림을 상기 제2 네트워크를 통하여 전송하는 단계
    중 적어도 하나를 포함하는, 방송 서비스 방법.
  7. 제2항에 있어서
    상기 제1 네트워크를 통하여 전송하는 단계는 상기 좌영상 기본 계층 스트림과 상기 우영상 기본 계층 스트림 중 하나와, 상기 제1 전송 스트림을 UHD TV 방송 서비스를 제공하기 채널 또는 PLP(Physical Layer Pipe)로 전송하며,
    상기 제1 네트워크는 방송망이고, 상기 제2 네트워크는 IP(Internet Protocol) 망이며, 상기 제1 비디오 데이터는 UHD(Ultra High Definition) 비디오 데이터이고, 상기 제2 좌측 비디오 데이터는 전방위 360도 VR 좌측 비디오 데이터이며, 상기 제2 우측 비디오 데이터는 전방위 360도 VR 우측 비디오 데이터인, 방송 서비스 방법.
  8. 제1항에 있어서
    상기 제1 네트워크를 통하여 전송하는 단계는, 상기 제2 네트워크를 통하여 전송되는 상기 기본 계층 스트림과 향상계층 스트림에 대한 정보를 기술하는 MPD(Media Presentation Description) 경로 정보를 추가적으로 전송하는, 방송 서비스 방법.
  9. 제1 및 제2 네트워크를 포함하는 하이브리드 망을 통하여 방송 서비스를 제공하는 방송 시스템에서,
    입체 VR(Virtual Reality) 카메라를 통하여 획득된 영상을 토대로 제1 비디오 데이터, 제2 좌측 비디오 데이터 및 제2 우측 비디오 데이터를 생성하는 전방위 입체 VR 획득 장치;
    상기 제1 비디오 데이터를 부호화하여 제1 전송 스트림을 생성하는 제1 인코더;
    상기 제2 좌측 비디오 데이터를 부호화하여 좌영상 기본 계층 스트림과 좌영상 향상계층 스트림을 생성하고, 상기 제2 우측 비디오 데이터를 부호화하여 우영상 기본 계층 스트림과 우영상 향상계층 스트림을 생성하는 제2 인코더; 및
    상기 좌영상 기본 계층 스트림과 상기 우영상 기본 계층 스트림 중의 하나와 상기 제1 전송 스트림을 상기 제1 네트워크를 통하여 전송하고, 상기 좌영상 기본 계층 스트림, 상기 좌영상 향상계층 스트림, 상기 우영상 기본 계층 스트림 그리고 상기 우영상 향상계층 스트림 중 적어도 하나를 상기 제2 네트워크를 통하여 전송하는 방송 서버
    를 포함하는, 방송 시스템.
  10. 제9항에 있어서
    상기 제1 네트워크는 방송망이고, 상기 제2 네트워크는 IP(Internet Protocol) 망이며, 상기 제1 비디오 데이터는 UHD(Ultra High Definition) 비디오 데이터이고, 상기 제2 좌측 비디오 데이터는 전방위 360도 VR 좌측 비디오 데이터이며, 상기 제2 우측 비디오 데이터는 전방위 360도 VR 우측 비디오 데이터인, 방송 시스템.
  11. 제9항에 있어서
    상기 제2 인코더는,
    상기 제2 좌측 비디오 데이터를 부호화하여 좌영상 기본 계층 스트림을 생성하는 제1 기본 계층 부호 처리부;
    VoI별로 상기 좌영상 기본 계층 스트림을 참조하여 향상 스트림을 부호화하여 좌영상 향상계층 스트림을 생성하는 제1 향상 계층 부호 처리부;
    상기 제2 좌측 비디오 데이터를 참조하여, 상기 제2 우측 비디오 데이터를 부호화하여 우영상 기본 계층 스트림을 생성하는 제2 기본 계층 부호 처리부; 및
    VoI별로 상기 우영상 기본 계층 스트림과 상기 좌영상 향상계층 스트림을 참조하여 향상 스트림을 부호화하여 우영상 향상계층 스트림을 생성하는 제2 향상 계층 부호 처리부
    를 포함하는, 방송 시스템.
  12. 제9항에 있어서
    상기 방송 서버는,
    상기 제1 전송 스트림과 상기 좌영상 기본 계층 스트림을 각각 다중화하여 상기 제1 네트워크를 통하여 전송하는 제1 전송 처리부;
    상기 우영상 기본 계층 스트림과, 상기 좌영상 향상계층 스트림 그리고 상기 우영상 향상계층 스트림을 처리하여 상기 제2 네트워를 통하여 전송하기 위한 스트림으로 처리하는 제2 전송 처리부; 및
    상기 제2 전송 처리부로부터 전달되는 상기 우영상 기본 계층 스트림과, 상기 좌영상 향상계층 스트림 그리고 상기 우영상 향상계층 스트림을 사용자 선택 모드에 따라 선택적으로 상기 제2 네트워크를 통하여 전송하는 전송 서버
    를 포함하는, 방송 시스템.
  13. 제12항에 있어서
    상기 제1 전송 처리부는, 상기 제1 전송 스트림과 상기 좌영상 기본 계층 스트림을 ROUTE(Real-time Object Delivery over Unidirectional Transport) 또는 MMTP(MPEG Media Transport Protocol)로 다중화 하여 전송 스트림을 생성하고 이를 UHD TV 방송 서비스를 제공하기 위한 채널 또는 PLP를 통하여 전송하는, 방송 시스템.
  14. 제12항에 있어서
    상기 제1 전송 처리부는, 상기 제2 네트워크를 통하여 전송되는 상기 좌영상 향상계층 스트림, 상기 우영상 기본 계층 스트림 그리고 상기 우영상 향상계층 스트림에 대한 정보를 기술하는 MPD(Media Presentation Description) 경로 정보를 추가적으로 전송하는, 방송 시스템.
  15. 제12항에 있어서
    상기 제2 전송 처리부는, 상기 우영상 기본 계층 스트림과, 상기 좌영상 향상계층 스트림 그리고 상기 우영상 향상계층 스트림을 ISOBMFF(ISO based Media File Format)) 또는 전송 스트림(Transport Stream, TS)으로 처리하는, 방송 시스템.
  16. 제12항에 있어서
    상기 전송 서버는, 상기 제2 전송 처리부로부터 전달되는 스트림들을 MPEG-DASH(Dynamic Adaptive Streaming over HTTP) 따라 다수의 세그먼트(segment)들로 분할하여 전송하는, 방송 시스템.
  17. 제1 및 제2 네트워크를 포함하는 하이브리드 망을 통하여 제공되는 방송 서비스를 수신하는 수신 장치에서,
    상기 제1 네트워크를 통하여 전송되는 스트림을 역다중화하여 제1 전송 스트림과 좌영상 기본 계층 스트림을 획득하는 역다중화기;
    상기 제1 전송 스트림을 디코딩하여 제1 비디오 데이터를 출력하는 제1 디코더;
    상기 좌영상 기본 계층 스트림을 디코딩하여 제2 좌측 비디오 데이터를 출력하는 제2 디코더;
    상기 제2 네트워크를 통하여 전송되는 스트림을 처리하여 제2 우측 비디오 데이터와 향상계층 비디오 데이터를 출력하는 클라이언트 처리부; 및
    상기 제1 비디오 데이터, 상기 제2 좌측 비디오 데이터, 상기 제2 우측 비디오 데이터 그리고 상기 향상계층 비디오 데이터를 선택적으로 조합하여 비디오를 재생하는 재생기
    를 포함하며,
    상기 제2 네트워크를 통하여 전송되는 스트림은, 우영상 기본 계층 스트림, VoI별 좌영상 향상계층 스트림 및 VoI별 우영상 향상계층 스트림 중 적어도 하나를 포함하는 수신 장치.
  18. 제17항에 있어서,
    상기 제1 네트워크를 통하여 전송되는 스트림은 상기 제2 네트워크를 통하여 전송되는 스트림에 대한 정보를 기술하는 MPD(Media Presentation Description) 경로 정보를 포함하는, 수신 장치.
  19. 제18항에 있어서,
    상기 클라이언트 처리부는,
    사용자 선택 모드에 따라 세그먼트 파일 정보를 제공하는 세그먼트 관리부;
    상기 경로 정보를 토대로 초기 세그먼트 파일 요청을 수행하고, 상기 세그먼트 파일 정보에 따라 상기 제2 네트워크를 통하여 방송 시스템으로 세그먼트 파일을 요청하는 MPD 관리부;
    상기 MPD 관리부로부터의 요청에 따라 상기 제2 네트워크를 통하여 전송되는 스트림에 대응하는 세그먼트 파일들을 수신하는 세그먼트 파일 파싱부; 및
    상기 세그먼트 파일 파싱부로부터 전달되는 파일들을 디코딩하여 상기 제2 우측 비디오 데이터 그리고 상기 향상계층 비디오 데이터를 출력하는 입체 VR 디코더
    를 포함하는, 수신 장치.
  20. 제19항에 있어서,
    상기 클라이언트 처리부는,
    상기 사용자 선택 모드가 4K 전방위 입체 VR 모드인 경우, 상기 제2 네크워크를 통하여 우영상 기본 계층 스트림, VoI별 좌영상 향상계층 스트림 및 VoI별 우영상 향상계층 스트림을 요청하여 수신하고,
    상기 사용자 선택 모드가 FHD 전방위 입체 VR 모드인 경우, 상기 제2 네트워크를 통하여 우영상 기본 계층 스트림을 요청하여 수신하며,
    상기 사용자 선택 모드가 4K 전방위 VR 모드인 경우, 상기 제2 네트워크를 통하여 VoI별 좌영상 향상계층 스트림을 요청하여 수신하는, 수신 장치.
KR1020160061681A 2016-05-19 2016-05-19 하이브리드 망 기반의 가상 현실 방송 서비스 방법 및 장치 KR20170130883A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160061681A KR20170130883A (ko) 2016-05-19 2016-05-19 하이브리드 망 기반의 가상 현실 방송 서비스 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160061681A KR20170130883A (ko) 2016-05-19 2016-05-19 하이브리드 망 기반의 가상 현실 방송 서비스 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20170130883A true KR20170130883A (ko) 2017-11-29

Family

ID=60812327

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160061681A KR20170130883A (ko) 2016-05-19 2016-05-19 하이브리드 망 기반의 가상 현실 방송 서비스 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20170130883A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102030630B1 (ko) * 2018-04-30 2019-11-08 서울과학기술대학교 산학협력단 하이브리드 망 기반의 스테레오스코픽 3차원 360도 가상 현실 서비스 제공 시스템
KR20210045877A (ko) * 2019-10-17 2021-04-27 에스케이텔레콤 주식회사 영상을 처리하기 위한 전자 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
US11184461B2 (en) 2018-10-23 2021-11-23 At&T Intellectual Property I, L.P. VR video transmission with layered video by re-using existing network infrastructures

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102030630B1 (ko) * 2018-04-30 2019-11-08 서울과학기술대학교 산학협력단 하이브리드 망 기반의 스테레오스코픽 3차원 360도 가상 현실 서비스 제공 시스템
US11184461B2 (en) 2018-10-23 2021-11-23 At&T Intellectual Property I, L.P. VR video transmission with layered video by re-using existing network infrastructures
KR20210045877A (ko) * 2019-10-17 2021-04-27 에스케이텔레콤 주식회사 영상을 처리하기 위한 전자 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
KR20210118025A (ko) * 2019-10-17 2021-09-29 에스케이텔레콤 주식회사 영상을 처리하기 위한 전자 장치, 방법, 컴퓨터 프로그램

Similar Documents

Publication Publication Date Title
US11330311B2 (en) Transmission device, transmission method, receiving device, and receiving method for rendering a multi-image-arrangement distribution service
KR101719998B1 (ko) 미디어 컨텐트를 수신하는 장치 및 방법
US9036700B2 (en) Simulcast of stereoviews for 3D TV
KR102361314B1 (ko) 360도 가상현실 방송 서비스 제공 방법 및 장치
EP2690876A2 (en) Heterogeneous network-based linked broadcast content transmitting/receiving device and method
Kim et al. A study on feasibility of dual‐channel 3DTV service via ATSC‐M/H
KR102464061B1 (ko) 미디어 데이터를 송수신하는 방법 및 장치
US20140002598A1 (en) Transport system and client system for hybrid 3d content service
EP2556440A1 (en) Video content distribution
KR20150072231A (ko) 멀티 앵글 뷰 서비스 제공 장치 및 방법
KR20170005366A (ko) 고 해상도 영상에서의 영상 추출 장치 및 방법
US20230319371A1 (en) Distribution of Multiple Signals of Video Content Independently over a Network
KR20150009122A (ko) 지역 광고를 합성하는 서버 및 장치, 그리고 영상 스트림을 합성하는 서버
US7646432B2 (en) Multimedia signal matching system and method for performing picture-in-picture function
US9204123B2 (en) Video content generation
KR20170130883A (ko) 하이브리드 망 기반의 가상 현실 방송 서비스 방법 및 장치
KR100703715B1 (ko) 다시점 3차원 동영상 송수신 시스템
KR20140002471A (ko) 하이브리드 3d 콘텐츠 서비스용 전송 시스템 및 클라이언트 시스템
CA2824708C (en) Video content generation
KR20150037200A (ko) 비디오 스트림 송/수신 장치 및 비디오 스트림 송/수신 방법
WO2018016879A1 (ko) 360도 가상현실 방송 서비스 제공 방법 및 장치
KR102158007B1 (ko) 하이브리드망 기반의 영상 전송 시스템 및 방법
KR20170093637A (ko) 이종 네트워크 환경에서 미디어 전송 스트림 버퍼링 방법 및 이를 이용한 영상 수신 장치
JP2013055479A (ja) 通信コンテンツ生成装置および通信コンテンツ生成プログラム
Kwon et al. Program associated 3D non-real-time service on terrestrial DTV