[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20190136417A - 3차원 360도 영상 데이터의 전송 방법, 그에 따른 디스플레이 장치, 및 그에 따른 영상 저장 장치 - Google Patents

3차원 360도 영상 데이터의 전송 방법, 그에 따른 디스플레이 장치, 및 그에 따른 영상 저장 장치 Download PDF

Info

Publication number
KR20190136417A
KR20190136417A KR1020180062095A KR20180062095A KR20190136417A KR 20190136417 A KR20190136417 A KR 20190136417A KR 1020180062095 A KR1020180062095 A KR 1020180062095A KR 20180062095 A KR20180062095 A KR 20180062095A KR 20190136417 A KR20190136417 A KR 20190136417A
Authority
KR
South Korea
Prior art keywords
image
tile
area
data
priority
Prior art date
Application number
KR1020180062095A
Other languages
English (en)
Inventor
박봉길
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180062095A priority Critical patent/KR20190136417A/ko
Priority to CN201980036386.2A priority patent/CN112204960A/zh
Priority to PCT/KR2019/006427 priority patent/WO2019231234A1/en
Priority to US16/424,651 priority patent/US20190373244A1/en
Priority to EP19177317.5A priority patent/EP3576414A1/en
Priority to JP2019101771A priority patent/JP2019213196A/ja
Publication of KR20190136417A publication Critical patent/KR20190136417A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Library & Information Science (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 개시의 실시예는 3차원 360도 영상을 복수개의 타일(tile) 단위로 분할하고, 상기 타일 단위의 영상 데이터를 영상 저장 장치에서 디스플레이 장치로 스트리밍하는 방법을 개시한다. 본 개시의 실시예에 따른 3차원 360도 영상 데이터의 전송 방법은 스트리밍되는 데이터의 양을 최소화하면서도 원본 영상의 해상도를 보존하여 디스플레이 장치에서 고화질의 영상을 디스플레이할 수 있다.

Description

3차원 360도 영상 데이터의 전송 방법, 그에 따른 디스플레이 장치, 및 그에 따른 영상 저장 장치{METHOD FOR TRAMSMITTING STEREOSCOPIC 360 DEGREE VIDEO DATA, DISPLAY APPARATUS THEREOF, AND STORING DEVICE OF VIDEO DATA THEREOF}
본원 발명은 3차원 360도 영상 데이터의 전송 방법, 그에 따른 디스플레이 장치, 및 그에 따른 영상 저장 장치에 대한 것이다.
구체적으로, 3차원 360도 영상을 복수의 타일(tile) 단위로 분할하고, 타일 단위의 영상 데이터를 영상 저장 장치에서 디스플레이 장치로 스트리밍 하는 방법, 그에 따른 디스플레이 장치, 및 그에 따른 영상 저장 장치 에 대한 것이다.
디스플레이 장치를 통하여 각종 게임, 영상 등을 감상하는 경우가 증가하고 있다. 구체적으로, 디스플레이 장치의 일 종류라 할 수 있는 가상 현실 장치를 통해 각종 게임, 영상을 감상하는 경우가 증가하고 있다. 특히 몰입감이 강조 되는 가상 현실 기술의 특성상 3D(3-Dimensional) Stereoscopic 기법을 적용한 영상 감상이 널리 확산되고 있는 추세이다. 영상 감상을 위하여, 영상 저장 장치로부터 디스플레이 장치, 예를 들어, 가상 현실 장치로 영상 데이터를 전송해야 하는 경우가 있다.
예를 들어, 영상 저장 장치로는 미디어 저장 매체에 저장된 컨텐츠를 독출할 수 있는 미디어 플레이어, 컨텐츠 서버 장치 등이 있다. 여기서, 미디어 저장 매체로는 BD(blu-ray Disc), DVD(Digital Video Disc) 등을 예로 들 수 있다. 그리고, 디스플레이 장치로는 헤드 마운티드 디스플레이(HMD: head mounted display) 장치를 예로 들 수 있다.
영상 저장 장치에서 디스플레이 장치로 영상 데이터를 전송하는데 있어서, 무선의 통신 네트워크를 통하여 영상 데이터를 전송하는 경우, 네트워크 사양에 따라서 스트리밍(streaming)되는 영상 데이터의 해상도는 소정 값 이하로 제한된다. 예를 들어, HEVC 코덱에 따른 무선 통신 네트워크를 통하여, BD 를 재생하는 미디어 장치에서 헤드 마운티드 디스플레이(HMD) 장치로 영상 데이터를 전송하는 경우, 최대 4K 해상도를 갖는 영상 데이터를 전송할 수 있다.
무선 통신 네트워크의 규격 종류에 따라서 차이는 있으나, 영상 데이터의 스트리밍에는 전술한 바와 같이 해상도의 제한이 따르게 된다.
따라서, 디스플레이 장치의 사용자가 고화질의 영상을 시청할 수 있도록, 높은 해상도를 갖는 영상 데이터를 스트리밍하는 방법 및 장치를 제공할 필요가 있다.
또한, 영상 저장 장치에서 헤드 마운티드 디스플레이 장치로 헤드 3차원 360도 영상에 대응되는 영상 데이터를 스트리밍 하는 경우를 예로 들자. 이 경우, 헤드 마운티드 디스플레이 장치는 소정 시점(view)에 대응되는 3차원 360도 영상의 일부 영역만을 디스플레이 하게 된다. 이때, 헤드 마운티드 디스플레이 장치가 사용자가 원하는 시점에 대응되며 고화질을 갖는 3차원 360도 영상의 소정 영역을 디스플레이할 수 있도록 하는 방법 및 장치를 제공할 필요가 있다.
본 개시의 실시예는 높은 해상도를 갖는 3차원 360도 영상을 스트리밍 할 수 방법 및 장치의 제공을 목적으로 한다.
구체적으로, 본 개시의 실시예는 사용자가 원하는 시점에 대응되며 고화질을 갖는 3차원 360도 영상의 소정 영역을 디스플레이 할 수 있도록 하는 방법 및 장치의 제공을 목적으로 한다.
본 개시의 실시예에 따른 3차원 360도 영상 데이터의 전송 방법은 3차원 360도 영상을 복수개의 타일(tile) 단위로 분할하고, 상기 타일 단위의 영상 데이터를 영상 저장 장치에서 디스플레이 장치로 스트리밍하는 방법이다.
본 개시의 실시예에 따른 3차원 360도 영상 데이터의 전송 방법은 상기 3차원 360도 영상 중 상기 디스플레이 장치의 사용자의 시점에 대응되는 시청 영역(Field of View)인 제1 영역에 대한 정보를 획득하는 단계; 상기 3차원 360도 영상 중 상기 제1 영역과 다르며 적어도 하나의 소정 시점에 대응되는 적어도 하나의 제2 영역에 대한 정보를 획득하는 단계; 상기 제1 영역 및 상기 적어도 하나의 제2 영역에 대응되는 복수개의 타일들에 우선 순위를 설정하는 단계; 및 상기 우선 순위에 대응되는 순서대로, 상기 제1 영역 및 상기 적어도 하나의 제2 영역에 대응되는 복수개의 타일 데이터를 상기 영상 저장 장치에서 상기 디스플레이 장치로 스트리밍하는 단계 포함한다.
또한, 상기 복수개의 타일들의 우선 순위를 설정하는 단계는 상기 제1 영역에 대응되는 적어도 하나의 타일의 우선 순위가 상기 적어도 하나의 제2 영역에 대응되는 적어도 하나의 타일의 우선 순위보다 높은 값을 갖도록 상기 우선 순위를 설정하는 단계를 포함할 수 있다.
또한, 상기 전송하는 단계는 상기 제1 영역에 대응되는 적어도 하나의 타일에 대응되는 적어도 하나의 타일 데이터를 제1 스트림으로 전송하고, 상기 적어도 하나의 제2 영역 각각에 대응되는 적어도 하나의 타일 데이터를 제2 스트림으로 전송하는 단계를 포함할 수 있다.
또한, 상기 우선 순위는 상기 사용자의 시점에 대응되는 시청 영역 및 상기 영상 데이터에 대응되는 컨텐츠의 제작자가 설정한 시청 영역에 근거하여 설정될 수 있다.
또한, 상기 우선 순위는 상기 영상 데이터에 대응되는 컨텐츠를 시청한 시청자들의 시청 영역 이력에 근거하여 설정될 수 있다.
또한, 상기 우선 순위는 상기 영상 데이터에 대응되는 컨텐츠에 대한 자동 컨텐츠 인식(ACR: Automatic Contents Recognition) 결과에 근거하여 설정될 수 있다.
또한, 상기 우선 순위는 상기 영상 데이터에 대응되는 컨텐츠의 등장 인물 위치 및 상기 컨텐츠의 내용 중 적어도 하나에 근거하여 설정될 수 있다.
또한, 상기 3차원 360도 영상은 좌안 시점(left view)에 대응되는 360도 영상인 좌안 영상 및 우안 시점(right view)에 대응되는 360도 영상인 우안 영상을 포함할 수 있다. 또한, 상기 영상 데이터는 HEVC 규격에 따른 MCT(motion constrained tile) 기법에 따라서 상기 타일 단위로 분할 및 엔코딩될 수 있다.
또한, 상기 전송하는 단계는 상기 좌안 영상 중 상기 제1 영역에 대응되는 적어도 하나의 타일에 대응되는 적어도 하나의 타일 데이터 및 상기 우안 영상 중 상기 제1 영역에 대응되는 적어도 하나의 타일에 대응되는 적어도 하나의 타일 데이터를 다중 시점 코덱(MVC: Multi-View Codec)으로 압축하여, 하나의 스트림으로 형성하는 단계; 및 상기 하나의 스트림을 상기 디스플레이 장치로 전송하는 단계를 포함할 수 있다.
또한, 상기 디스플레이 장치는 헤드 마운티드 디스플레이가 될 수 있다.
본 개시의 실시예에 따른 디스플레이 장치는 3차원 360도 영상을 복수개의 타일(tile)들의 단위로 분할할 때, 상기 타일 단위의 영상 데이터를 스트리밍하는 디스플레이 장치이다.
본 개시의 실시예에 따른 디스플레이 장치는 디스플레이; 상기 영상 데이터를 저장하는 영상 저장 장치와 통신하는 통신부; 스트리밍된 상기 영상 데이터를 저장하는 메모리; 및 하나 이상의 인스트럭션을 저장하며, 상기 저장된 상기 하나 이상의 인스트럭션을 수행하는 프로세서를 적어도 하나 포함하는 제어부를 포함한다. 여기서, 상기 제어부는 상기 3차원 360도 영상 중 상기 디스플레이 장치의 사용자의 시청 영역(Field of View)인 제1 영역 및 상기 3차원 360도 영상 중 상기 제1 영역과 다르며 적어도 하나의 소정 시점에 대응되는 적어도 하나의 제2 영역에 대응되는 복수개의 타일 데이터들, 및 상기 복수개의 타일들에 우선 순위를 나타내는 정보가 상기 영상 저장 장치에서 스트리밍 되도록 제어하며, 상기 우선 순위를 나타내는 정보에 근거하여 상기 복수개의 타일들 중 적어도 하나의 타일에 대응되는 영상이 상기 디스플레이를 통하여 출력되도록 제어한다.
본 개시의 실시예에 따른 영상 저장 장치는 컨텐츠를 형성하는 3차원 360도 영상을 복수개의 타일(tile)들의 단위로 분할하고, 상기 타일 단위의 영상 데이터를 디스플레이 장치로 스트리밍하는 영상 저장 장치이다.
본 개시의 실시예에 따른 영상 저장 장치는 상기 영상 데이터를 저장하는 메모리; 상기 디스플레이 장치와 통신하는 통신부; 및 하나 이상의 인스트럭션을 저장하며, 상기 하나 이상의 인스트럭션을 수행하는 프로세서를 적어도 하나 포함하는 제어부를 포함한다. 여기서, 상기 제어부는 상기 3차원 360도 영상 중 상기 디스플레이 장치의 사용자의 시청 영역(Field of View)인 제1 영역에 대한 정보를 획득하며, 상기 3차원 360도 영상 중 상기 제1 영역과 다르며 적어도 하나의 소정 시점에 대응되는 적어도 하나의 제2 영역에 대한 정보를 획득하고, 상기 제1 영역 및 상기 적어도 하나의 제2 영역에 대응되는 복수개의 타일들에 우선 순위를 설정하며, 상기 제1 영역 및 상기 적어도 하나의 제2 영역에 대응되는 복수개의 타일 데이터들이 상기 우선 순위에 따른 순서대로 상기 디스플레이 장치로 전송되도록 제어한다.
본 개시의 실시예는 높은 해상도를 갖는 3차원 360도 영상을 전송 할 수 있다. 본 개시의 실시예 발명은 컨텐츠에 대응되는 영상 데이터를 무선 네트워크를 통하여 전송하는데 있어서, 데이터의 전송량을 증가시키지 않고도 고화질의 영상 데이터를 전송할 수 있다.
또한, 본 개시의 실시예는 사용자가 원하는 시점에 대응되며 고화질을 갖는 3차원 360도 영상의 소정 영역을 디스플레이 할 수 있다. 구체적으로, 디스플레이 장치의 사용자가 원하는 시청 영역을 빠르고 정확하게 재생할 수 있도록, 원본 영상 데이터 중 일부만을 빠르게 전송 할 수 있다.
도 1은 360도 영상 및 360도 영상 중 적어도 일부의 영역을 디스플레이 하는 디스플레이 장치를 나타내는 도면이다.
도 2는 본 개시의 실시예에 따른 영상 저장 장치 및 디스플레이 장치 간의 데이터 송수신을 나타내는 도면이다.
도 3a는 본 개시의 실시예에 따른 영상 저장 장치를 나타내는 블록도이다.
도 3b는 본 개시의 실시예에 따른 디스플레이 장치를 나타내는 블록도이다.
도 4는 본 개시의 다른 실시예에 따른 영상 저장 장치를 나타내는 블록도이다.
도 5a 및 도 5b는 본 개시의 실시예에 따른 360도 영상의 분할 방법을 설명하기 위한 도면이다.
도 6은 본 개시의 실시예에 따른 디스플레이 장치를 상세히 나타내는 블록도이다.
도 7은 본 개시의 실시예에서 이용하는 3차원 360도 영상 데이터를 설명하기 위한 도면이다.
도 8은 스트리밍 될 영상 데이터의 생성 동작을 설명하기 위한 일 도면이다.
도 9는 스트리밍 될 영상 데이터의 생성 동작을 설명하기 위한 다른 도면이다.
도 10은 영상 저장 장치에서 디스플레이 장치로 영상 데이터를 스트리밍하는 동작을 설명하기 위한 일 도면이다.
도 11은 영상 저장 장치에서 디스플레이 장치로 영상 데이터를 스트리밍하는 동작을 설명하기 위한 다른 도면이다.
도 12는 영상 저장 장치에서 디스플레이 장치로 영상 데이터를 스트리밍하는 동작을 설명하기 위한 다른 도면이다.
도 13은 본 발명의 실시예에 따른 3차원 360도 영상 데이터의 전송 방법을 나타내는 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시예에서" 또는 "일 실시예에서" 등의 어구는 반드시 모두 동일한 실시예를 가리키는 것은 아니다.
일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 프로세서 또는 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “모듈” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 360도 영상 및 360도 영상 중 적어도 일부의 영역을 디스플레이 하는 디스플레이 장치를 나타내는 도면이다.
본 개시의 실시예에 따른 디스플레이 장치는 소정 영상을 시각적으로 출력하는 모든 전자 장치를 포함할 수 있다. 구체적으로, 본 개시의 실시예에 따른 디스플레이 장치는 가상 현실 장치를 포함할 수 있다. 여기서, 가상 현실 장치는 특정한 환경 또는 상황을 그대로 모방한 환경 또는 상황인 ‘가상 현실’을 사용자에게 제공하여, 사용자가 마치 실제 주변 환경 또는 상황과 상호작용 하고 있는 것처럼 느낄 수 있도록 하기 위한 디스플레이 장치를 의미한다. 가상 현실 장치는 헤드 마운티드 디스플레이(HMD: head mounted display)를 포함할 수 있다. 최근 들어, 가상 현실 장치를 통해 각종 게임, 영상을 감상하는 경우가 증가하고 있다. 또한, 가상 현실 장치는 사용자가 마치 실제 주변 환경 또는 상황을 느낄 수 있도록 하기 위해서, 입체적인 영상인 3차원 영상을 디스플레이 할 수 있다. 여기서, 3차원 360도 영상은 3D(3-Dimensional) Stereoscopic 기법을 적용한 360도 영상으로, 이하에서 도 7을 참조하여 상세히 설명한다.
이하에서는, 디스플레이 장치의 일 예로, 가상 현실 장치를 예로 들어 설명한다. 또한, 가상 현실 장치로는 헤드 마운티드 디스플레이를 예로 들어 도시 및 설명하도록 하겠다.
도 1을 참조하면, 사용자(120)는 디스플레이 장치, 예를 들어, 헤드 마운티드 디스플레이(130)를 통하여 소정 영상(110)에 대응되는 영상을 시청할 수 있다. 도 1에서는 소정 영상(110)이 360도 영상인 경우를 예로 들어 설명한다.
원 영상 데이터를 입력받아 재생하는 디스플레이 장치에 있어서, 사용자가 느낄 수 있는 원 영상 데이터의 해상도는 디스플레이 장치의 해상도에 의해서 제약을 받는다. 구체적으로, 원 영상 데이터의 해상도가 디스플레이 장치의 최대 해상도를 초과하는 경우, 원 영상을 기록 및 전송하기 위해서 필요한 데이터의 크기는 증가하지만, 디스플레이 장치를 통하여 출력되는 화질은 더 이상 개선되지 않는다.
이와 같이, 헤드 마운티드 디스플레이(130)와 같은 가상 현실 장치에서 360도 영상(110)에 대응되는 영상을 시청하기 위해서는, 먼저 헤드 마운티드 디스플레이(130)는 소정의 네트워크를 통하여 360도 영상(110)에 대응되는 영상 데이터를 전송받고, 전송받은 영상 데이터를 이용하여 소정 화면을 출력하여야 한다.
그리고, 헤드 마운티드 디스플레이(130)는 360도 영상(110)의 일부 영역(예를 들어, 영역(140))만을 디스플레이 할 수 있다. 즉, 헤드 마운티드 디스플레이(130)의 특성 상 사용자(120)의 소정 시점(view point)에 대응되는 일부 영역(140)만을 디스플레이 하게 된다.
또한, 헤드 마운티드 디스플레이(130)가 자신의 최대 해상도에 맞춰 영상(예를 들어, 영역(140)에 대응되는 영상)을 출력될 때, 출력되는 영상의 해상도는 원 영상의 해상도보다 낮은 경우가 대부분이다. 즉, 일반적인 TV와 같은 거치형 디스플레이 장치는 높은 해상도 사양을 갖는데 비하여, 헤드 마운티드 디스플레이(130)와 같은 디스플레이 장치는 거치형 디스플레이 장치에 비하여 낮은 해상도 사양을 갖는다.
통상적으로, 헤드 마운티드 디스플레이를 통한 재생 환경에서 최적의 화질을 구현하기 위한 동영상의 해상도는 최소 8K 수준으로 알려져 있다.
현재의 일반적인 댁내 홈 네트워크 환경에서 동영상 스트리밍은 통상 2K 해상도로 지원되고 있다. 또는, 네트워크가 빠른 경우, 동영상 스트리밍은 최대 4K 해상도까지도 지원 되고 있다. 그러나, 최대 해상도인 4K를 넘어서는 영상을 스트리밍 할 수 있는 네트워크 인프라는 현재까지 홈 네트워크로 제공되고 있지 않다. 따라서, 가상 현실 체험을 위한 360 영상을, 가상 현실 장치와 같은 디스플레이 장치에서 최적의 화질로 시청하기 위하여, 8K 영상을 원본 화질 그대로 스트리밍 위한 방법 및 장치는 현재에는 구현이 어렵다는 문제가 있다.
즉, 원본 영상인 360도 영상(110)이 8K 해상도를 가질 때, 현재의 네트워크 환경을 고려하면, 헤드 마운티드 디스플레이(130)는 8K 해상도를 갖는 360도 영상(110)을 4K 해상도를 갖는 360도 영상(112)으로 변환하여 생성한 영상 데이터, 또는 8K 해상도를 갖는 360도 영상(110)을 2K 해상도를 갖는 360도 영상(114)으로 변환하여 생성한 영상 데이터를 스트리밍할 수밖에 없다. 이러한 경우, 헤드 마운티드 디스플레이(130)가 스트리밍한 영상 데이터로는, 헤드 마운티드 디스플레이(130)가 구현하고자 하는 최적 화질(예를 들어, 8K의 해상도)을 갖는 영상을 복원할 수가 없다. 따라서, 헤드 마운티드 디스플레이(130)의 사용자(120)는 낮은 해상도를 갖는 영상을 재생할 수밖에 없다.
본 개시의 실시예에서는, 현재의 네트워크 환경으로 인한 스트리밍되는 영상 데이터의 해상도 제한으로 인하여 발생하는 전술한 문제점을 해결하도록 한다. 구체적으로, 본 개시의 실시예에서는, 3차원 360도 영상 영상을 시청하는 환경에서 증강 현실 장치등과 같은 디스플레이 장치가 최적의 화질을 구현할 수 있도록 하는 영상 데이터의 전송 방법, 그에 따른 디스플레이 장치, 및 그에 따른 영상 저장 장치를 제공하며, 이하에서 첨부된 도면을 참조하여 상세히 설명한다.
도 1을 참조하면, 사용자(120)가 디스플레이 장치(예를 들어, 헤드 마운티드 디스플레이(130))를 통하여 360도 영상을 시청할 때, 원본 영상의 해상도와 헤드 마운티드 디스플레이(130)가 재생하는 영역과의 관계가 도시된다. 여기서, 사용자(120)는 360도 영상(110)의 시청자가 된다.
헤드 마운티드 디스플레이(130)를 착용한 사용자(120)가 2K 정도의 해상도를 느끼기 위해서는, 원본 영상인 360도 영상(110)의 전체 해상도는 8K가 되어야 한다.
전술한 바와 같이, 현재의 일반적인 댁내 홈 네트워크 환경은 최대 4K 해상도의 영상을 전송할 수 있다. 따라서, 4K 해상도의 영상 대비 4배의 데이터 크기를 갖는 8K 해상도 영상을 전송하기에는, 현재의 네트워크 기술이 충분히 빠르지 못하다.
이러한 문제를 해결하기 위한 일 방법으로, 원본 영상인 360도 영상(110)의 전체 영역 중 소정 시청 영역(FoV: Field of View) 만을 사용자(120)가 시청하게 된다는 점에 착안하여, HEVC 코덱의 motion constrained tile(MCT)을 활용한 스트리밍 방법이 있다. 즉, 헤드 마운티드 디스플레이(130)는 360도 영상(110)의 해상도 값인 8K 값을 그대로 갖는 부분 영상인 영상(140)에 대응되는 영상 데이터를 스트리밍 할 수 있다. 그에 따라서, 본 개시의 실시예에서는 높은 해상도를 갖는 영상 데이터를 스트리밍하면서도, 스트리밍될 영상 데이터의 크기를 증가시키지 않도록 한다.
이러한 부분 영상의 스트리밍은 이하에서 도 2 내지 도 5b를 참조하여 상세히 설명한다.
도 2는 본 개시의 실시예에 따른 영상 저장 장치 및 디스플레이 장치 간의 데이터 송수신을 나타내는 도면이다.
도 2를 참조하면, 본 개시의 실시예에 따른 디스플레이 장치(250)는 본 개시의 실시예에 따른 영상 저장 장치(210)로부터 영상 데이터를 전송받을 수 있다. 구체적으로, 디스플레이 장치(250)는 영상 저장 장치(210)에 저장되어 있는 영상 데이터를 스트리밍(streaming) 한다. 여기서, 스트리밍(streaming)을 데이터(예를 들어, 영상 데이터 등)를 전송하는 방식의 하나이다. 구체적으로, 스트리밍은 데이터를 여러 개로 나누어 물 흐르듯이(streaming) 연속하여 전송하는 방식을 의미한다. 따라서, 음성이나 동영상등과 같은 데이터를 실시간으로 재생할 필요가 있는 경우 스트리밍 방식이 이용될 수 있다.
여기서, 영상 저장 장치(210)는 사용자가 시청할 수 있는 게임, 영화 등과 같은 다양한 컨텐츠를 저장하고 있는 전자 장치를 의미한다. 구체적으로, 영상 저장 장치(210)에 저장되어 있는 영상 데이터는 사용자가 시각적으로 인식할 수 있는 화면을 통하여 재생되는 게임, 영화, 광고, 뮤직 비디오 등과 같은 컨텐츠에 대응될 수 있다. 또한, 영상 데이터는 소정 시점에서 출력되는 소정 프레임의 영상을 나타내는 프레임 데이터를 복수개 포함하는 형태로 형성될 수 있다. 예를 들어, 1분에 60개의 프레임이 연속적으로 재생될 때, 1분짜리 컨텐츠를 형성하는 영상 데이터는 시간에 따라서 정렬되는 60개의 프레임 데이터를 포함할 수 있을 것이다. 여기서, 하나의 프레임은 소정 시점에서 디스플레이되는 하나의 화면(예를 들어, 3차원 360도 영상, 또는 360도 영상(110))이 될 수 있다.
영상 저장 장치(210)는 전술한 컨텐츠를 저장하고 있는 미디어 저장 매체를 삽입하여 소정 컨텐츠를 독출할 수 있는 전자 장치를 포함할 수 있다. 여기서, 미디어 저장 매체로는 BD(blu-ray Disc), DVD(Digital Video Disc) 등을 예로 들 수 있다. 이 경우, 영상 저장 장치(210)는 BD(blu-ray Disc) 플레이어, DVD(Digital Video Disc) 플레이어 등이 될 수 있다.
또한, 영상 저장 장치(210)는 내부적으로 포함되는 메모리 또는 소정 네트워크를 통하여 접근 가능한 서버 장치 내에 전술한 컨텐츠를 저장하고 있는 전자 장치를 의미할 수 있다. 이 경우, 영상 저장 장치(210)는 스트리밍 서비스를 제공할 수 있는 서버 장치 형태를 가질 수 있다.
디스플레이 장치(250)는 영상 저장 장치(210)와 유선 또는 무선의 네트워크를 통하여 연결되며, 소정 화면을 디스플레이 하는 전자 장치를 의미한다.
구체적으로, 본 개시의 실시예에 따른 디스플레이 장치(250)는 무선 네트워크를 통하여 영상 저장 장치(210)로부터 영상 데이터를 전송(예를 들어, 스트리밍)할 수 있는 디스플레이 장치가 될 수 있다. 구체적으로, 디스플레이 장치(250)는 도 1에서 전술한 가상 현실 장치, 예를 들어, 헤드 마운티드 디스플레이(130)를 포함할 수 있다.
디스플레이 장치(250)는 영상 저장 장치(210)로부터 소정 컨텐츠에 대응되는 영상 데이터를 전송받고, 전송받은 영상 데이터를 이용하여 소정 영상을 디스플레이 한다.
이하에서는, 본 개시의 실시예에 따른 디스플레이 장치(250)가 헤드 마운티드 디스플레이(예를 들어, 130)인 경우를 예로 들어 도시 및 설명하도록 한다.
도 3a는 본 개시의 실시예에 따른 영상 저장 장치를 나타내는 블록도이다.
도 3a에 도시된 영상 저장 장치(310)는 도 2에서 도시 및 설명한 영상 저장 장치(210)에 대응되므로, 도 2에서와 중복되는 설명은 생략한다.
도 3a를 참조하면, 영상 저장 장치(310)는 데이터의 전송 서비스(예를 들어, 스트리밍 서비스)를 제공할 수 있는 서버 장치 형태를 가질 수 있다.
영상 저장 장치(310)는 3차원 360도 영상을 복수개의 타일(tile) 단위로 분할하고, 상기 타일 단위의 영상 데이터를 디스플레이 장치로 전송 한다.
본 개시의 실시예에서, 영상 저장 장치(310)가 디스플레이 장치로 영상 데이터를 전송하는 방식으로, 영상 데이터를 분할하여 생성한 타일 데이터들을 연속하여 전송하는 방식인 스트리밍 방식을 이용할 수 있다. 이하에서는, 영상 데이터의 전송 방식으로 스트리밍 방식이 이용되는 경우를 예로 들어 설명한다.
도 3a를 참조하면, 영상 저장 장치(310)는 제어부(315), 통신부(320) 및 메모리(325)를 포함한다. 메모리(325)는 영상 데이터를 저장한다. 여기서, 영상 데이터는 컨텐츠를 형성하는 3차원 360도 영상에 대응되는 데이터이다. 그리고, 3차원 360도 영상을 복수개의 타일(tile) 단위로 분할할 때, 메모리(325)에 저장되는 영상 데이터는 타일 단위로 형성될 수 있다. 타일 단위의 영상 데이터는 도 5a 및 도 5b를 참조하여 상세히 설명한다.
구체적으로, 메모리(325)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
또는, 영상 저장 장치(310)는 통신부(320)를 통하여 데이터를 송수신 할 수 있는 외부의 서버 장치(미도시) 상에 3차원 360도 영상으로 형성되는 컨텐츠에 대응되는 영상 데이터를 저장하고 있을 수 있다. 이 경우, 메모리(325)는 외부의 서버 장치(미도시)로부터 수신되는 영상 데이터를 버퍼링하여 저장할 수 있을 것이다.
통신부(320)는 디스플레이 장치(예를 들어, 도 2의 디스플레이 장치(250))와 통신한다. 또한, 통신부(320)는 외부의 전자 장치, 또는 서버 장치 등과 소정의 네트워크를 통하여 통신할 수 있다.
구체적으로, 통신부(320)는 소정 규격을 만족하는 무선 네트워크를 통하여 외부의 장치들과 통신할 수 있다. 여기서, 소정 규격은 동영상 데이터를 송수신하기 위한 통신 규격이 될 수 있으며, 구체적으로, HEVC(High Efficiency Video Coding)이 될 수 있다. 즉, 통신부(320)는 HEVC 통신 규격을 따르는 무선 네트워크를 통하여, 외부의 장치들과 통신할 수 있다.
또한, 통신부(320)는 유선 통신 또는 무선 통신을 통해 외부 전자 장치(미도시) 또는 서버(미도시)와 통신할 수 있다. 일 실시예에 따른 통신부(320)는, 근거리 통신 모듈, 유선 통신 모듈, 이동 통신 모듈, 방송 수신 모듈 등과 같은 적어도 하나의 통신 모듈을 포함한다. 여기서, 적어도 하나의 통신 모듈은 블루투스, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), CDMA, WCDMA 등과 같은 통신 규격을 따르는 네트워크를 통하여 데이터 송수신을 수행할 수 있는 통신 모듈을 뜻한다.
제어부(315)는 하나 이상의 인스트럭션을 저장하며, 저장된 하나 이상의 인스트럭션을 수행하는 프로세서(미도시)를 적어도 하나 포함한다.
제어부(315)는 3차원 360도 영상 중 디스플레이 장치(예를 들어, 250)의 사용자의 시청 영역(Field of View)인 제1 영역에 대한 정보를 획득한다. 그리고, 3차원 360도 영상 중 제1 영역과 다르며 적어도 하나의 소정 시점에 대응되는 적어도 하나의 제2 영역에 대한 정보를 획득한다. 계속하여, 제1 영역 및 적어도 하나의 제2 영역에 대응되는 복수개의 타일들에 우선 순위를 설정한다. 그리고, 제1 영역 및 적어도 하나의 제2 영역에 대응되는 복수개의 타일들에 대응되는 복수개의 타일 데이터들이 상기 우선 순위에 대응되는 순서대로 디스플레이 장치(예를 들어, 250)로 전송되도록 제어할 수 있다.
여기서, 제1 영역에 대한 정보는 디스플레이 장치(예를 들어, 250)에서 획득 되어 영상 저장 장치(310)로 전송될 수 있다. 디스플레이 장치(예를 들어, 250)에서 제1 영역에 대한 정보를 획득하는 동작은 이하에서 도 6을 참조하여 상세히 설명한다. 또한, 적어도 하나의 제2 영역에 대한 정보는 컨텐츠 제작자의 설정, 컨텐츠를 시청한 시청자들의 시청 영역 이력, 컨텐츠에 대한 자동 컨텐츠 인식(ACR: Automatic Contents Recognition) 결과, 컨텐츠의 등장 인물 위치 및 상기 컨텐츠의 내용 중 적어도 하나에 근거하여 획득할 수 있다.
구체적으로, 제어부(315)는 제1 영역에 대응되는 적어도 하나의 타일의 우선 순위가 적어도 하나의 제2 영역에 대응되는 적어도 하나의 타일의 우선 순위보다 높은 값을 갖도록 복수개의 타일들의 우선 순위를 설정할 수 있다.
본 개시의 실시예에 따른 영상 저장 장치(310)에서 수행되는 동작들은 이하에 첨부된 도면들을 참조하여 상세히 설명한다.
먼저, 도 5a 및 도 5b를 참조하여, 영상 저장 장치(310)가 저장 및 스트리밍하는 영상 데이터의 단위인 타일(tile) 단위를 설명한다.
도 5a 및 도 5b는 본 개시의 실시예에 따른 360도 영상의 분할 방법을 설명하기 위한 도면이다.
본 개시의 실시예에서, 영상 저장 장치(310)는 HEVC 코덱의 motion constrained tile(MCT)을 활용한 스트리밍 방법을 이용하여 전송 대상이 되는 영상 데이터를 분할할 수 있다. 여기서, motion constrained tile(MCT)이란, 가상 현실을 위한 360도 영상의 전송을 위하여, 전체 영상 중 일부의 영역만을 전송할 수 있도록 하는 기법이다. 구체적으로, motion constrained tile(MCT)는 전체 화면을 형성하는 영상을 복수개의 부분 영역으로 분할하고, 부분 영역에 대응되는 영상 데이터 단위로 데이터 전송을 수행한다. 여기서, 부분 영역을 타일(tile)이라 칭할 수 있다.
도 5a를 참조하면, 본 개시의 실시예에서, 360도 영상(510)은 가로 축 상에서 8개로, 세로 축 상에서 6개로 분할되어 총 6 * 8 = 48개로 분할될 수 있다. 여기서, 각각의 분할된 영역들이 타일이 되며, 하나의 타일에 대응되는 부분 영상(예를 들어, 511)에 대응되는 영상 데이터 단위로 데이터 전송(예를 들어, 스트리밍)이 수행될 수 있다.
도 5b를 참조하면, 본 개시의 실시예에서, 360도 영상(550)은 가로 축 상에서 8개로, 세로 축 상에서 4개로 분할되어 총 4 * 8 = 32개로 분할될 수 있다. 이 경우, 하나의 타일에 대응되는 부분 영상(예를 들어, 551)에 대응되는 영상 데이터 단위로 데이터 전송(예를 들어, 스트리밍)이 수행될 수 있다.
또한, 360도 영상은 전술한 예 이외에도 다양한 개수로 분할될 수 있다. 또한, 도 5a 및 도 5b 에서는 360도 영상이 모두 동일한 크기로 분할된 경우를 예로 들어 도시하였으나, 서로 다른 크기를 갖는 복수개의 타일들로 분할될 수도 있을 것이다.
또한, 360도 영상을 복수개의 타일들로 분할하는데 있어서, 분할 개수는 영상 저장 장치(310)의 설정, 영상 저장 장치(310)의 통신부(320)에 연결되는 네트워크의 규격 종류, 영상 저장 장치(310)의 통신부(320)에 연결되는 네트워크에서 허용 가능한 해상도, 영상 저장 장치(310)로부터 영상 데이터를 스트리밍받는 디스플레이 장치(예를 들어, 250)의 설정, 영상 저장 장치(310) 및/또는 디스플레이 장치(예를 들어, 250)의 사용자의 설정, 등에 따라서 달라질 수 있을 것이다.
이하에서는, 360도 영상이 가로 축 상으로 4개, 세로 축 상으로 4개로, 총 4*4=16개로 분할되어, 하나의 타일이 360도 영상의 1/16 크기를 갖는 경우를 예로 들어 설명하도록 하겠다.
또한, 본 개시의 실시예에서는 3차원 360도 영상을 복수개의 타일 단위로 분할한다. 3차원 360도 영상은 이하에서 도 7을 참조하여 상세히 설명한다.
도 7은 본 개시의 실시예에서 이용하는 3차원 360도 영상 데이터를 설명하기 위한 도면이다.
3차원 360도 영상은 3D(3-Dimensional) Stereoscopic 기법을 적용하여 생성되는 영상으로, 영상을 시청하는 사용자(705)가 입체감 또는 원근감을 느낄 수 있도록 하기 위해서, 좌안 시점(left view)에 대응되는 360도 영상(710) 및 우안 시점(right view)에 대응되는 360도 영상(730)이 하나의 쌍으로 형성되는 영상을 의미한다.
이하에서는, 좌안 시점(left view)에 대응되는 360도 영상(710)을 ‘좌안 360도 영상(710)’이라 칭하고, 우안 시점(right view)에 대응되는 360도 영상(730)을 ‘우안 360도 영상(730)’이라 칭하도록 하겠다.
본 개시의 실시예에서, 영상 저장 장치(310)는 좌안 360도 영상(710) 및 우안 360도 영상(730)을 각각 n 개의 타일로 분할할 수 있다. 예를 들어, 영상 저장 장치(310)는 좌안 360도 영상(710) 및 우안 360도 영상(730)을 각각 도시된 바와 같이, 16 개의 타일로 분할할 수 있다.
또한, 16개의 타일들 및/또는 16개의 타일 데이터들 각각을 식별하기 위한 식별자(ID)가 타일 데이터에 부여될 수 있다. 예를 들어, 좌안 360도 영상(710)에 있어서, 좌측 최상단에 위치하는 타일(711)에는 ‘1’ (712) 값이 식별자(ID) 값으로 수여될 수 있다. 이와 동일 대응되도록, 우안 360도 영상(730)에 있어서, 좌측 최상단에 위치하는 타일(731)에는 ‘1’(732) 값이 식별자(ID) 값으로 수여될 수 있다. 도 7에서는 1부터 16까지의 정수를 16개의 타일들 각각에 대응되는 식별자로 이용 및 표시하였다.
이하에서는, 3차원 360도 영상에 포함되는 좌안 360도 영상(710) 및 우안 360도 영상(730) 각각이 도 7에 도시된 바와 같이 16 개의 타일로 분할되는 경우를 예로 들어 설명 및 도시 하도록 하겠다.
도 3b는 본 개시의 실시예에 따른 디스플레이 장치를 나타내는 블록도이다.
도 3b에 도시된 디스플레이 장치(350)는 도 2에서 도시 및 설명한 디스플레이 장치(250)에 대응되므로, 도 2에서와 중복되는 설명은 생략한다.
도 3b를 참조하면, 디스플레이 장치(350)는 메모리(365), 제어부(355), 통신부(370), 및 디스플레이(377)를 포함한다.
또한, 디스플레이 장치(350)는 센싱부(360)를 더 포함할 수 있다.
디스플레이(377)는 컨텐츠에 대응되는 소정 영상을 디스플레이 한다. 구체적으로, 디스플레이(377)는 컨텐츠를 형성하는 3차원 360도 영상의 일부 영역에 대응되는 영상을 3차원적으로 디스플레이 할 수 있다.
통신부(370)는 영상 데이터를 저장하는 영상 저장 장치(예를 들어, 310)와 통신한다. 구체적으로, 통신부(370)는 외부의 장치(예를 들어, 영상 저장 장치(310), 서버 장치(미도시) 등)과 소정의 네트워크를 통하여 통신할 수 있다.
구체적으로, 통신부(370)는 소정 규격을 만족하는 무선 네트워크를 통하여 외부의 장치들과 통신할 수 있다. 여기서, 소정 규격은 동영상 데이터를 송수신하기 위한 통신 규격이 될 수 있으며, 구체적으로, HEVC(High Efficiency Video Coding)이 될 수 있다. 즉, 통신부(370)는 HEVC 통신 규격을 따르는 무선 네트워크를 통하여, 외부의 장치들과 통신할 수 있다.
구체적으로, 통신부(370)는 유선 통신 또는 무선 통신을 통해 외부 전자 장치(미도시) 또는 서버(미도시)와 통신할 수 있다. 일 실시예에 따른 통신부(370)는, 근거리 통신 모듈, 유선 통신 모듈, 이동 통신 모듈, 방송 수신 모듈 등과 같은 적어도 하나의 통신 모듈을 포함한다. 여기서, 적어도 하나의 통신 모듈은 블루투스, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), CDMA, WCDMA 등과 같은 통신 규격을 따르는 네트워크를 통하여 데이터 송수신을 수행할 수 있는 통신 모듈을 뜻한다.
메모리(365)는 스트리밍된 영상 데이터를 저장한다.
또한, 메모리(365)는 소정 데이터, 및 소정 동작을 수행하기 위한 명령어들을 포함하는 프로그램들 중 적어도 하나를 포함할 수 있다. 또한, 소정 프로그램을 실행시키는 프로세서(미도시)를 적어도 하나 포함할 수 있다.
구체적으로, 메모리(365)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
제어부(355)는 하나 이상의 인스트럭션을 저장하며, 상기 저장된 상기 하나 이상의 인스트럭션을 수행하는 프로세서(미도시)를 적어도 하나 포함한다.
여기서, 제어부(355)는 3차원 360도 영상 중 디스플레이 장치(350)의 사용자의 시청 영역(Field of View)인 제1 영역 및 3차원 360도 영상 중 제1 영역과 다르며 적어도 하나의 소정 시점에 대응되는 적어도 하나의 제2 영역에 대응되는 복수개의 타일들에 대응되는 영상 데이터들, 및 상기 복수개의 타일들에 우선 순위를 나타내는 정보를 영상 저장 장치(310)로부터 스트리밍하도록 제어한다. 그리고, 우선 순위를 나타내는 정보에 근거하여 스트리밍 된 복수개의 타일들 중 적어도 하나의 타일에 대응되는 영상이 디스플레이(377)를 통하여 출력되도록 제어한다.
또한, 디스플레이 장치(350)는 센싱부(360) 및 디스플레이(377)를 포함하는 출력부(375)를 포함할 수 있다.
센싱부(360)는 센싱부(360)는 디스플레이 장치(350)(예를 들어, 헤드 마운티드 디스플레이)를 착용한 사용자의 상태를 감지할 수 있다. 구체적으로, 센싱부(360)는 사용자의 자세, 사용자의 움직임, 사용자의 머리 각도, 사용자의 머리 높이, 사용자의 머리 위치 등을 감지할 수 있는 적어도 하나의 센서를 포함하여, 사용자의 상태를 감지할 수 있다.
센싱부(360)는 감지된 결과를 제어부(355)로 전송한다. 그러면, 제어부(355)는 감지된 결과에 근거하여 디스플레이 장치(350)의 사용자의 시청 영역(예를 들어, 도 1의 140)인 제1 영역에 대한 정보를 획득할 수 있다.
구체적으로, 센싱부(360)은 디스플레이 장치(350)의 사용자(예를 들어, 도 1의 사용자(120))가 바라보는 시점(view), 바라보는 영역, 및/또는 바라보는 방향 등을 인식할 수 있도록 하는 적어도 하나의 센서를 포함할 수 있다.
구체적으로, 센싱부(360)는 지자기 센서(Magnetic sensor)(미도시), 가속도 센서(Acceleration sensor)(미도시), 기울기 센서(미도시), 깊이 센서(미도시), 자이로스코프 센서(미도시), 근접 센서(미도시), 온도 센서, 홍채 인식 센서 등을 포함할 수 있다. 그리고, 센싱부(360)는 내부적으로 포함되는 적어도 하나의 센서에서 감지된 감지 결과를 제어부(355)로 전송한다. 그러면, 제어부(355)는 감지된 결과에 근거하여, 사용자가 원본 3차원 360도 영상 중 어느 부분을 시청 영역(FoV)로 시청하고 있는지 판단함으로써, 제1 영역(예를 들어, 도 1의 140)에 대한 정보를 획득할 수 있다.
또한, 출력부(375)는 시각 및 청각적 신호를 출력할 수 있다. 출력부(375)는 디스플레이(377) 및 음향 출력부(379)를 포함할 수 있다.
구체적으로, 음향 출력부(379)는 컨텐츠에 대응되는 오디오 데이터를 출력할 수 있다. 또한, 음향 출력부(379)는 디스플레이 장치(350)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력할 수 있다. 이러한 음향 출력부(379)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
도 4는 본 개시의 다른 실시예에 따른 영상 저장 장치를 나타내는 블록도이다.
본 개시의 실시예에 따른 영상 저장 장치는 미디어 저장 매체를 삽입받고 미디어 저장 매체에 기록 및 저장되어 있는 소정 컨텐츠에 대응되는 영상 데이터를 독출하는 미디어 플레이어가 될 수 있다. 구체적으로, 영상 저장 장치는 BD(blu-ray Disc) 플레이어, DVD(Digital Video Disc) 플레이어 등이 될 수 있다. 도 4에 도시된 영상 저장 장치(400)은 전술한 영상 저장 장치(210, 310)에 대응되므로, 도 2 및 도 3a 에서와 중복되는 설명은 생략한다. 또한, 디스플레이 장치(470)는 도 3b에서 설명한 디스플레이 장치(350)에 대응되므로, 도 3b에서와 중복되는 설명은 생략한다.
도 4를 참조하면, 영상 저장 장치(400)는 리더(410), 디멀티플렉서(420), 패킷 처리기(430), 통신부(440), 및 제어부(450)를 포함한다. 또한, 영상 저장 장치(400)는 미디어 저장 매체(405)를 삽입받는다.
도 4에 있어서, 영상 저장 장치(400)로 삽입된 미디어 저장 매체(405), 통신부(440) 및 제어부(450)는 각각 도 3a에서 설명한 메모리(325), 통신부(320) 및 제어부(315)에 대응될 수 있다. 따라서, 도 4에 도시된 영상 저장 장치(400)를 설명하는데 있어서, 도 3에서와 중복되는 설명은 생략한다.
리더(410)는 미디어 저장 매체(405)에 저장되어 있는 영상 데이터를 일정한 단위로 독출 될 수 있다. 여기서, 미디어 저장 매체(405)는 전술한 BD(blu-ray Disc), DVD(Digital Video Disc) 등을 예로 들 수 있다. 또한, 미디어 저장 매체(405)가 저장하고 있는 영상 데이터는 소정 컨텐츠에 대응하는 것으로, 영화, 광고, 게임, 뮤직 비디오, 어플리케이션 등을 구성하는 비디오 데이터를 포함할 수 있으며, 비디오 데이터 및 오디오 데이터를 모두 포함하는 AV(audio-video) 데이터를 포함할 수 있을 것이다.
예를 들어, 미디어 저장 매체(405)는 오디오 스트림과 비디오 스트림이 멀티플렉싱된 영상 데이터를 저장하고 있을 수 있다.
디멀티플렉서(420)는 리더(410)로부터 독출되는 영상 데이터를 수신하고, 수신된 영상 데이터를 디멀티플렉싱(de-multiplexing)할 수 있다. 예를 들어, 미디어 저장 매체(405)는 오디오 스트림과 비디오 스트림이 멀티플렉싱된 스트림을 영상 데이터로서 저장하고 있을 수 있다. 그러면, 디멀티플렉서(420)는 독출된 영상 데이터로부터 오디오 스트림과 비디오 스트림을 추출할 수 있다.
패킷 처리기(430)는 디멀티플렉서(420)에서 추출된 오디오 스트림 및 비디오 스트림을 수신하고, 오디오 스트림 및 비디오 스트림 각각을 처리한다. 구체적으로, 패킷 처리기(430)는 비디오 패킷 처리기(431)과 오디오 패킷 처리기(432)를 포함한다.
비디오 패킷 처리기(431)은 비디오 스트림을 처리하여, 도 5a 및 도 5b에서 설명한 바와 같이 하나의 전체 화면을 형성하는 영상 데이터를 복수개의 타일들에 대응되는 복수개의 타일 데이터로 분할할 수 있다.
도 5a를 참조하면, 원본 영상이며 전체 화면인 360도 영상(510)을 가로 축 상으로 8개, 세로 축 상으로 6개로 분할하여, 총 48개로 분할하였을 때, 맨왼쪽 가장 상단에 위치하는 부분 영상(511)에 대응되는 영상 데이터가 하나의 타일 데이터가 될 수 있다. 따라서, 도 5a의 경우, 360도 영상(510)을 나타내는 영상 데이터는 48개의 타일 데이터로 분할될 수 있을 것이다. 하나의 전체 화면인 360도 영상을 형성하는 복수개의 타일 데이터는 이하에서 도 8 및 도 9를 참조하여 상세히 설명한다.
오디오 패킷 처리기(432)는 수신된 오디오 스트림을 패킷 단위로 분리 및 처리할 수 있다.
또한, 미디어 저장 매체(405)가 영상 데이터를 타일 단위로 저장하고 있을 수 있다. 그러한 경우, 전술한 타일 단위의 영상 데이터를 생성하기 위한 디멀티플렉서(420) 및 패킷 처리기(430)의 동작은 생략될 수 있을 것이다.
제어부(450)는 영상 저장 장치(400)의 전반적인 동작을 제어한다.
구체적으로, 제어부(450)는 하나 이상의 인스트럭션을 저장하며, 상기 하나 이상의 인스트럭션을 수행하는 프로세서를 적어도 하나 포함할 수 있다.
구체적으로, 제어부(450)는 3차원 360도 영상 중 디스플레이 장치(예를 들어, 350)의 사용자의 시청 영역(Field of View)인 제1 영역에 대한 정보를 획득한다. 그리고, 3차원 360도 영상 중 제1 영역과 다르며 적어도 하나의 소정 시점에 대응되는 적어도 하나의 제2 영역에 대한 정보를 획득한다. 계속하여, 제1 영역 및 적어도 하나의 제2 영역에 대응되는 복수개의 타일들에 우선 순위를 설정한다. 그리고, 제1 영역 및 적어도 하나의 제2 영역에 대응되는 복수개의 타일들에 대응되는 복수개의 타일 데이터들이 상기 우선 순위에 대응되는 순서대로 디스플레이 장치(예를 들어, 350)로 전송되도록 제어할 수 있다.
통신부(440)는 유선 통신 또는 무선 통신을 통해 외부 전자 장치(미도시) 또는 서버(미도시)와 통신할 수 있다. 일 실시예에 따른 통신부(440)는, 근거리 통신 모듈, 유선 통신 모듈, 이동 통신 모듈, 방송 수신 모듈 등과 같은 적어도 하나의 통신 모듈을 포함한다. 여기서, 적어도 하나의 통신 모듈은 블루투스, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), CDMA, WCDMA 등과 같은 통신 규격을 따르는 네트워크를 통하여 데이터 송수신을 수행할 수 있는 통신 모듈을 뜻한다.
본 개시의 실시예에서, 통신부(440)는 제어부(450)의 제어에 따라서, 타일 단위로 형성되는 복수개의 타일 데이터를 제어부(450)에서 설정된 우선 순위에 따라서 디스플레이 장치(470)으로 전송한다.
도 6은 본 개시의 실시예에 따른 디스플레이 장치를 상세히 나타내는 블록도이다. 도 6에 도시된 디스플레이 장치(600)는 도 3b 에 도시된 디스플레이 장치(350)를 상세히 나타낸 것이다. 따라서, 도 3b 에서와 동일한 명칭(예를 들어, ‘제어부’)는 동일한 구성 요소를 지칭한다. 그러므로, 디스플레이 장치(600)를 설명하는데 있어서, 도 3b 에서와 중복되는 설명은 생략한다.
도 6에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디스플레이 장치(600)는, 출력부(610), 제어부(620) 이외에 사용자 입력부(630), 통신부(640), 센싱부(650), A/V 입력부(660), 메모리(670)를 더 포함할 수도 있다. 센싱부(650)는 센서부로 표현될 수도 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
출력부(610)는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 디스플레이(611)와 음향 출력부(612), 진동 모터(613) 등이 포함될 수 있다.
디스플레이(611)는 디스플레이 장치(600)에서 처리되는 정보를 시각적으로 표시할 수 있다.
본 개시의 실시예에서, 디스플레이(611)는 3차원 360도 영상을 디스플레이할 수 있다. 구체적으로, 디스플레이(611)는 원본 영상인 3차원 360도 영상(예를 들어, 도 1의 110) 중 일부 영역(140)에 대응되는 영상을 3차원적으로 디스플레이 할 수 있다.
또한, 디스플레이(611)는, 알림 이벤트에 대응하는 컨텐트(알림 메시지 정보)를 표시할 수 있다.
또한, 디스플레이(611)는, 증강현실(AR: Augmented Reality), 혼합현실(MR: Mixed Reality), 또는 가상현실(VR: Virtual Reality) 형태로 컨텐트를 표시할 수 있다. 또한, 디스플레이(611)는 알림 이벤트의 발생을 나타내는 인디케이터를 표시할 수도 있다.
한편, 디스플레이(611)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이(611)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이(611)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 디스플레이 장치(600)의 구현 형태에 따라 디스플레이 장치(600)는 디스플레이(611)를 2개 이상 포함할 수도 있다. 예를 들어, 디스플레이 장치(600)가 헤드 마운티드 디스플레이인 경우, 디스플레이 장치(600)는 좌안 렌즈에 대응되는 디스플레이 및 우안 렌즈에 대응되는 디스플레이를 포함할 수 있다.
음향 출력부(612)는 통신부(640)로부터 수신되거나 메모리(670)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(612)는 디스플레이 장치(600)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(612)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
진동 모터(613)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(613)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(613)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
또한, 출력부(610)는, 사용자의 움직임 패턴 정보에 기반하여 결정된 제공 방법에 따라, 알림 이벤트에 대응하는 컨텐트를 제공할 수 있다.
제어부(620)는, 통상적으로 디스플레이 장치(600)의 전반적인 동작을 제어한다. 예를 들어, 제어부(620)는, 메모리(670)에 저장된 프로그램들을 실행함으로써, 출력부(610), 사용자 입력부(630), 통신부(640), 센싱부(650), A/V 입력부(660) 등을 전반적으로 제어할 수 있다.
본 개시의 실시예에서, 제어부(620)는 3차원 360도 영상 중 디스플레이 장치(600)의 사용자의 시청 영역(Field of View)인 제1 영역 및 3차원 360도 영상 중 제1 영역과 다르며 적어도 하나의 소정 시점에 대응되는 적어도 하나의 제2 영역에 대응되는 복수개의 타일들에 대응되는 영상 데이터들, 및 상기 복수개의 타일들에 우선 순위를 나타내는 정보를 영상 저장 장치(예를 들어, 350)로부터 스트리밍하도록 제어한다. 그리고, 우선 순위를 나타내는 정보에 근거하여 스트리밍 된 복수개의 타일들 중 적어도 하나의 타일에 대응되는 영상이 디스플레이(611)를 통하여 출력되도록 제어한다.
구체적으로, 제어부(620)는, 디스플레이 장치(600)에서 측정되는 가속도 정보, 기울기 정보, 및 위치 정보 중 적어도 하나를 이용하여, 사용자의 시점(view-point)이 어디인지, 사용자의 시청 영역(FoV)가 어디인지를 판단할 수 있다. 그리고, 사용자의 시청 영역인 제1 영역을 나타내는 정보를 획득한 후, 이를 영상 저장 장치(310)로 전송할 수 있다. 그러면, 영상 저장 장치(310)는 제1 영역에 대응되는 적어도 하나의 타일 데이터를 디스플레이 장치(600)로 스트리밍할 수 있을 것이다. 그에 따라서, 디스플레이 장치(600)는 제1 영역에 대응되는 적어도 하나의 타일 데이터를 영상 저장 장치(예로 들어, 350)로부터 스트리밍할 수 있다. 계속하여, 제어부(620)는 수신된 적어도 하나의 타일 데이터를 이용하여 제1 영역에 대응되는 영상이 디스플레이(611)를 통하여 디스플레이 되도록 제어할 수 있다.
제어부(620)의 제어에 따라서 소정 영역의 화면이 디스플레이 되는 동작은 이하에서 도 10 내지 도 12를 참조하여 상세히 설명한다.
또한, 제어부(620)는, 센싱부(650)에서 출력된 신호에 기초하여, 수신된 알림 메시지 정보를 디스플레이(611)에 표시하도록 디스플레이(611)를 제어할 수 있다.
또한, 제어부(620)는, 센싱부(650)에 포함된 적어도 하나의 센서에서 출력된 신호에 기초하여, 사용자가 디스플레이 장치(600)를 착용하고 있는지 판단하고, 디스플레이 장치(600)를 착용하고 있는 것으로 판단되는 경우에 사용자의 움직임을 센싱하도록 센싱부(650)를 제어할 수 있다.
사용자 입력부(630)는, 사용자가 디스플레이 장치(600)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(630)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
본 개시의 실시예에서, 사용자 입력부(630)는, 스트리밍된 컨텐츠의 재생을 요청하는 사용자 입력을 수신할 수 있다. 여기서, 사용자 입력은 모션 입력, 터치 입력, 키 입력, 음성 입력, 다중 입력 중 적어도 하나일 수 있으나, 이에 한정되는 것은 아니다. 또한, 사용자는, 고개를 드는 헤드 업 모션을 컨텐츠 출력을 요청하는 사용자 입력으로 설정할 수 있다.
통신부(640)는, 디스플레이 장치(600)와 영상 저장 장치(예를 들어, 310)간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(640)는, 근거리 통신부(641), 이동 통신부(642), 방송 수신부(643)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(641)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(642)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(643)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 디스플레이 장치(600)가 방송 수신부(643)를 포함하지 않을 수도 있다.
본 개시의 실시예에서, 통신부(640)는 영상 저장 장치(예를 들어, 310)에서 전송되는 영상 데이터(예를 들어, 복수개의 타일 데이터를 포함하는 스트림)을 스트리밍받을 수 있다.
센싱부(650)는, 지자기 센서(Magnetic sensor)(651), 가속도 센서(Acceleration sensor)(652), 기울기 센서(653), 깊이 센서(654), 자이로스코프 센서(655), 위치 센서(예컨대, GPS)(656), 기압 센서(657), 근접 센서(658), 및 광 센서(659) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 센싱부(650)는, 온도 센서, 조도 센서, 압력 센서, 홍채 인식 센서 등을 포함할 수도 있다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
A/V(Audio/Video) 입력부(660)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(이미지 센서)(661)와 마이크로폰(662) 등이 포함될 수 있다. 카메라(이미지 센서)(661)는 화상 통화모드 또는 촬영 모드에서 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 카메라(이미지 센서)(661)를 통해 캡쳐된 이미지는 제어부(620) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라(이미지 센서)(661)에서 처리된 화상 프레임은 메모리(670)에 저장되거나 통신부(640)를 통하여 외부로 전송될 수 있다. 카메라(이미지 센서)(661)는 디스플레이 장치(600)의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크로폰(662)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(662)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(662)은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
메모리(670)는, 제어부(620)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 미 출력된 컨텐츠의 리스트, 기 출력된 컨텐츠의 리스트, 캡쳐 이미지, 생체 정보, 사용자의 일정 정보, 사용자의 생활 패턴 정보 등)을 저장할 수도 있다.
본 개시의 실시예에서, 메모리(670)는 스트리밍된 타일 단위의 영상 데이터를 저장할 수 있다.
메모리(670)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 디스플레이 장치(600)는 인터넷(internet)상에서 메모리(670)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.
메모리(670)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(671), 알림 모듈(672), 어플리케이션 모듈(673), 영상 처리 모듈(674) 등으로 분류될 수 있다.
UI 모듈(671)은, 애플리케이션 별로 디스플레이 장치(600)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 알림 모듈(672)은 디스플레이 장치(600)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 알림 모듈(672)은 디스플레이(611)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(612)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(613)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.
어플리케이션 모듈(673)은, 디스플레이 장치(600)에서 실행가능한 적어도 하나의 어플리케이션을 저장할 수 있다. 어플리케이션 모듈(673)에 저장된 적어도 하나의 어플리케이션은 제어부(620)의 제어에 따라서 실행될 수 있을 것이다.
영상 처리 모듈(674)은, 캡쳐된 이미지에 대한 분석을 통해 캡쳐된 이미지에 포함된 객체 정보, 에지 정보, 분위기 정보, 색상 정보 등을 획득할 수 있다.
도 7 내지 도 12에서는, 원본 영상인 3차원 360도 영상이 가로축 상으로 4개, 세로 축 상으로 4개로 분할되어 총 16개의 타일 단위로 분할되는 경우를 예로 들어 설명 및 도시한다. 따라서, 원본 영상에 대응되는 영상 데이터는 총 16개의 타일 데이터들을 포함하게 된다.
또한, 이하에 첨부된 도 8 내지 도 12를 설명함에 있어서, 영상 저장 장치 및 디스플레이 장치는 각각 도 3a 에 도시된 영상 저장 장치(310) 및 도 3b에 도시된 디스플레이 장치(350)을 예로 들어 참조하도록 하겠다.
도 7에서 설명한 바와 같이 3차원 360도 영상은 좌안 360도 영상(710) 및 우안 360도 영상(730) 각각을 16개의 타일 단위로 분할하고, 16개의 타일들 각각에 대응되는 16개의 타일 데이터들을 형성할 수 있다.
사용자가 디스플레이 장치인 헤드 마운티드 디스플레이를 착용하고 있는 경우, 사용자는 왼쪽 눈으로는 좌안 360도 영상(710)을 보게 되고, 오른쪽 눈으로는 우안 360도 영상(730)을 보게 된다. 또한, 헤드 마운티드 디스플레이 특성 상 좌안 렌즈에 대응되는 디스플레이(미도시)는 좌안 360도 영상(710) 중 좌안의 시청 영역(Left eye’s FoV)(720)을 디스플레이하며, 우안 렌즈에 대응되는 디스플레이는 우안 360도 영상(730) 중 우안의 시청 영역(Right eye’s FoV)(740)을 디스플레이하게 된다. 여기서, 좌안의 시청 영역 (720)과 우안의 시청 영역(740)은 서로 동기화된 FoV가 되어서, 도 7에 도시된 바와 같이 동일 대응되는 영역이 된다.
따라서, 본 개시의 실시예에서, 동일 위치에 대응되는 두 개의 타일(좌안 360도 영상(710)에서의 타일과 우안 360도 영상(730)에서의 타일)을 엮어서 다 시점 코덱(MVC: Multi-View Codec)으로 압축할 수 있다. 구체적으로, 서로 동일 위치에 존재하는 좌안 360도 영상(710)에서의 타일과 우안 360도 영상(730)에서의 타일을 각각 기본 시점(base view)과 종속 시점(dependent view)로 구성하여, 다 시점 코덱(MVC)으로 압축할 수 있다. 또한, 서로 동일 위치에 존재하는 좌안 360도 영상(710)에서의 타일과 우안 360도 영상(730)에서의 타일을 각각 종속 시점(dependent view)과 기본 시점(base view)으로 구성하여, 다 시점 코덱(MVC)으로 압축할 수 있다. 이하에서는, ‘다 시점 코덱’을 ‘MVC’ 코텍이라 표한하도록 하겠다.
또한, 본 개시의 실시예에서는, 하나의 360도 영상에 포함되는 복수개의 타일들에 각각 1 내지 16의 식별자(예를 들어, ID)를 부여할 수 있다. 이하에서는, 서로 다른 복수개의 타일들을 구별시키는 식별자로, ‘ID’를 예로 들어 설명 및 도시한다.
구체적으로, 복수개의 타일 데이터에 각각 1 내지 16의 식별자(ID)를 부여하고, 전술한 우선 순위를 나타내는 정보를 타일 데이터의 ID 순으로 정렬함으로써 형성할 수 있다.
구체적으로, 도 7을 포함하여 이하에서 설명할 도 8 내지 도 12에서는, 도 7에 도시된 바와 같이, 하나의 360도 영상에 포함되는 복수개의 타일들에 각각에 순서대로 숫자 1 내지 16 값으로 표현되는 ID 를 부여할 수 있다. 또한, 도 7 내지 도 12에서는 ID 값으로 숫자를 이용한 경우를 예로 들어 도시하였으나, ID 값은 기호, 문자, 도형, 색상 등과 같이, 서로 다르게 표현 가능한 모든 것들이 이용될 수 있다.
또한, 360도 영상 데이터가 하나의 씬(scene) 또는 소정 시점에서 출력되는 프레임 단위로 형성될 수 있다. 이하의 도 8 내지 도 12에서는, 컨텐츠를 형성하는 영상 데이터가, 시간의 흐름에 따라서 연속적으로 출력되는 복수개의 프레임들을 포함하는 경우를 예로 들어서 설명 및 도시하도록 하겠다.
도 8은 스트리밍 될 영상 데이터의 생성 동작을 설명하기 위한 일 도면이다.
전술한 바와 같이, 동일한 ID 값을 갖는 두 개의 타일 데이터를 엮어서 압축할 수 있다.
도 8을 참조하면, 좌안 시점(left view)에 대응되는 복수개의 프레임들(801) 각각은 도 7에서 설명한 좌안 360도 영상(710)에 대응될 수 있으며, 우안 시점(right view)에 대응되는 복수개의 프레임들(802) 각각은 도 7에서 설명한 우안 360도 영상(730)에 대응될 수 있다. 또한, 소정 컨텐츠가 재생되는데 있어서, 811 프레임이 먼저 출력되고, 후속하여 812 프레임, 813 프레임, 및 814 프레임이 연속적으로 출력될 수 있다. 또한, 소정 컨텐츠가 재생되는데 있어서, 821 프레임이 먼저 출력되고, 후속하여 822 프레임, 823 프레임, 및 824 프레임이 연속적으로 출력될 수 있다. 여기서, tl 시점이 가장 먼저 선행하고 후속하여 t2, t3, 및 t4 시점이 연속된다고 할 때, 811 프레임 및 821 프레임은 각각 t1 시점에서 출력되는 영상이 되며, 812 프레임 및 822 프레임은 각각 t2 시점에서 출력되는 영상이 되고, 813 프레임 및 823 프레임은 각각 t3 시점에서 출력되는 영상이 되며, 814 프레임 및 824 프레임은 각각 t4 시점에서 출력되는 영상이 될 수 있다.
본 개시의 실시예에서는, 시간에 흐름에 따라서 출력되는 프레임들에 있어서, 동일한 위치(원본 영상 상에서의 위치)에 존재하는 타일 데이터를 순차적으로 엮에서 MVC 압축 할 수 있다.
본 개시의 실시예에서는, 동일한 ID 값을 갖는 타일 데이터들을 분리하여 저장할 수 있다.
도 8을 참조하면, 15번 ID 를 갖는 타일 데이터들을 MVC 압축하는데 있어서, 가장 먼저 선행되는 t1 시점에 대응되는 좌안 프레임(811) 내에서 15번 ID를 갖는 타일 데이터(821)와 t1 시점에 대응되는 우안 프레임(816) 내에서 15번 ID를 갖는 타일 데이터(831)를 엮어서 850 블록에 도시된 바와 같이 배치시킬 수 있다. 계속하여, 후속되는 t2 시점에 대응되는 좌안 프레임(812) 내에서 15번 ID를 갖는 타일 데이터(822)와 t2 시점에 대응되는 우안 프레임(817) 내에서 15번 ID를 갖는 타일 데이터(832)를 엮어서 850 블록에 도시된 바와 같이 배치시킬 수 있다. 계속하여, 후속되는 t3 시점에 대응되는 좌안 프레임(813) 내에서 15번 ID를 갖는 타일 데이터(823)와 t3 시점에 대응되는 우안 프레임(818) 내에서 15번 ID를 갖는 타일 데이터(833)를 엮어서 850 블록에 도시된 바와 같이 배치시킬 수 있다. 마지막으로, 후속되는 t4 시점에 대응되는 좌안 프레임(814) 내에서 15번 ID를 갖는 타일 데이터(824)와 t4 시점에 대응되는 우안 프레임(819) 내에서 15번 ID를 갖는 타일 데이터(834)를 엮어서 850 블록에 도시된 바와 같이 배치시킬 수 있다.
그리고, 영상 저장 장치(310)의 제어부(315)는 850 블록에 도시된 바와 같이 배치된 타일 데이터들을 MVC 압축할 수 있다. MVC 압축을 수행하는데 있어서, 소정 시점에 대응되는 두 타일 데이터(예를 들어, t1 시점에 대응되는 좌안 프레임(811) 내에서 15번 ID를 갖는 타일 데이터(821)와 t1 시점에 대응되는 우안 프레임(816) 내에서 15번 ID를 갖는 타일 데이터(831)) 단위로 MVC 압축을 수행할 수 있을 것이다. 또는, 850 블록에서와 같이 배치된 연속되는 소정 시점들에 대응되는 복수개의 타일 데이터들을 한번에 MVC 압축할 수도 있을 것이다. 예를 들어, 4개의 프레임 단위로, 8개의 타일 데이터들을 한번에 MVC 압축할 수도 있을 것이다. 또는, 2개의 프레임 단위로 4개의 타일 데이터들을 한번에 MVC 압축할 수 도 있을 것이다.
또한, 미디어 저장 매체(예를 들어, 도 4의 405)가 850 블록에서와 같은 형태로 MVC 압축된 타일 데이터들을 저장하고 있을 수 있다. 이 경우, 제어부(315)는 미디어 저장 매체에 저장되어 있는 타일 데이터들을 단순히 독출하여 이용할 수 있을 것이다.
도 9는 스트리밍 될 영상 데이터의 생성 동작을 설명하기 위한 다른 도면이다. 도 9에 있어서, 도 8에서와 동일한 구성은 동일하 sehaus 기호를 이ㅛㅇㅇ하여 도시하였다.
도 9를 참조하면, 도 8에서 설명한 15번 ID를 갖는 타일 데이터들 이외에, 다른 ID 값을 갖는 타일 데이터들도 도 8에서 설명한 방식으로 MVC 압축될 수 있다.
도 9를 참조하면, 복수개의 프레임들에 있어서, 1번 ID 를 갖는 타일 데이터들은 910 블록에서와 같이 분리될 수 있다. 또한, 2번 ID 를 갖는 타일 데이터들은 920 블록에서와 같이 분리될 수 있다. 또한, 15번 ID 를 갖는 타일 데이터들은 930 블록에서와 같이 분리될 수 있다. 또한, 16번 ID 를 갖는 타일 데이터들은 940 블록에서와 같이 분리될 수 있다.
이렇게, 동일한 ID 값을 갖는 타일 데이터들을 서로 분리되어 MVC 압축 및 저장될 수 있다. 950 블록을 참조하면, 하나의 프레임이 16개의 타일로 분할될 때, 16개 묶음의 데이터 셋(910, 920 … 930, 940)이 생성될 수 있을 것이다. 여기서, 각각의 데이터 셋은 별도의 스트림으로 형성될 수 있다. 예를 들어, ID가 1값인 데이터 셋(910)을 하나의 스트림으로, ID가 2값인 데이터 셋(920)을 하나의 스트림으로 형성할 수 있을 것이다.
또한, 950 블록에 나타나는 데이터 셋들은 영상 저장 장치(310)에 저장되어 있으며, 선택적으로 추출되어 디스플레이 장치(350)으로 스트리밍될 수 있다.
도 10은 영상 저장 장치에서 디스플레이 장치로 영상 데이터를 스트리밍하는 동작을 설명하기 위한 일 도면이다. 또한, 도 10에 있어서, 도 7과 동일한 구성은 동일한 도면기호를 이용하여 도시하였다. 또한, 미디어 저장 매체(1005)는 도 4에서 도시한 미디어 저장 매체(405)에 대응된다. 또한, 도 10에 도시된 영상 저장 장치(1020) 및 디스플레이 장치(1030)은 전술한 영상 저장 장치(310, 또는 400) 및 디스플레이 장치(350)에 대응되며, 헤드 마운티드 디스플레이인 경우를 예로 들어 도시하였다. 또한, 도 10에서는 영상 저장 장치(1020)가 미디어 저장 매체(1005)를 삽입받아 동작하는 미디어 플레이어인 경우를 예로 들어 도시하였다.
또한, 도 10에 도시된 영상 저장 장치(1020)의 통신부(1025) 및 디스플레이 장치(1030)의 통신부(1040) 각각은 영상 저장 장치(310 또는 400)의 통신부(320 또는 440) 및 디스플레이 장치(350)의 통신부(370)에 대응된다.
제어부(315)는 3차원 360도 영상 중, 소정 시청 영역(FoV)에 대응되는 적어도 하나의 타일 데이터들을 디스플레이 장치(350)으로 스트리밍할 수 있다.
도 10을 참조하면, 사용자(705)의 실제 시청영역(FoV)인 제1 영역(720, 740)에 대응되는 타일들은 ID가 7, 8, 11 및 12 값을 갖는 타일들이며, 제1 영역(720, 740)에 대응되는 영상 데이터는 ID가 7, 8, 11 및 12 값을 갖는 타일 데이터들이 된다. 또한, 도 9에서 설명한 서로 다른 타일 ID 값을 갖는 복수개의 데이터 셋들(950)은 미디어 저장 매체(1005)에 저장될 수 있다. 또는, 복수개의 데이터 셋들(950)은 도 3a 에서 설명한 메모리(325)에 저장될 수 있다.
제어부(315)는 통신부(1025)를 통하여, 소정 시점에 대응되는 소정 영역(예를 들어, 제1 영역)에 대응되는 적어도 하나의 타일 데이터를 디스플레이 장치(1030)의 통신부(1040)로 스트리밍할 수 있다.
전술한 바와 같이, 소정 시점에 대응되는 소정 영역(예를 들어, 전체 원본 영역의 1/4 에 해당하는 영역)을 선택적으로 스트리밍할 경우, 원본 영상인 3차원 360도 영상(710, 730)의 해상도를 그대로 유지하면서도, 스트리밍되는 데이터의 양을 원본 영상 데이터의 25% 로 낮출 수 있게 된다.
따라서, 본 개시의 실시예에서는 무선 네트워크에서 지원 가능한 데이터 전송량을 넘기지 않으면서도 해상도 높은 영상을 스트리밍할 수 있다.
도 11은 영상 저장 장치에서 디스플레이 장치로 영상 데이터를 스트리밍하는 동작을 설명하기 위한 다른 도면이다.
본 개시의 실시예에서는, 전체 3차원 360도 영상에 대응되는 영상 데이터를 전체적으로 스트리밍하지 않는다. 구체적으로, 본 개시의 실시예에서는, 영상 저장 장치(310)는 복수개의 시점에 대응되는 복수개의 시청 영역(FoV)에 대응되는 타일 데이터들만을 선택적으로 디스플레이 장치(1030)로 스트리밍할 수 있다. 여기서, 복수개의 시청 영역은 전술한 제1 영역 및 제1 영역과 구별되는 적어도 하나의 제2 영역을 포함할 수 있다. 도 11에서는 적어도 하나의 제2 영역이 하나의 영역인 경우를 예로 들어 설명 및 도시한다.
도 11에서는 원본 영상인 3차원 360도 영상(710, 730) 내에 두 개의 서로 다른 시청 영역(FoV)이 존재하는 경우를 예로 들어서 도시 및 설명한다. 두 개의 서로 다른 시청 영역은 제1 영역(720, 740) 및 제2 영역(725, 745)이 될 수 있다.
전술한 바와 같이, 제1 영역(720, 740)에 대한 정보는 디스플레이 장치(350, 600 또는 1035)에 포함되는 센싱부(예를 들어, 360 또는 650)에서 감지된 감지 결과에 근거하여 디스플레이 장치(1035)가 획득할 수 있다. 그리고, 디스플레이 장치(1035)는 영상 저장 장치(1020)로 제1 영역에 대한 정보를 전송할 수 있다.
구체적으로, 3차원 360도 영상으로 형성되는 컨텐츠의 제작자인 감독(Director)이 지정한 시청 영역(Director’s FoV)이 제2 영역(725, 745)인 경우를 예로 들자. 그리고, 이하에서는 영상 데이터에 대응되는 컨텐츠가 영화인 경우를 예로 들어서 설명하도록 하겠다. 영화의 경우, 감독이 의도한 바에 따라서 영화의 스토리를 가장 잘 따라갈 수 있도록 하는 시청 영역을 제2 영역으로 설정할 수 있다. 이 경우, 제2 영역을 나타내는 정보는 제2 영역에 포함되는 적어도 하나의 타일의 ID 값을 포함할 수 있다. 또한, 제2 영역을 나타내는 정보는 컨텐츠 제작 당시에, 감독이 제2 영역을 설정하여 제2 영역에 대한 정보를 컨텐츠에 대응되는 영상 데이터와 함께 메모리(예를 들어, 미디어 기록 매체, 또는 별도의 저장 서버, 또는 영상 저장 장치 내의 메모리)에 저장할 수 있다. 또는, 제2 영역에 대한 정보는 영상 저장 장치(310)가 컨텐츠에 대응되는 영상 데이터를 독출 또는 획득하는 때에 외부적으로 수신될 수도 있을 것이다.
영상 저장 장치(1020)는 제1 영역에 대한 정보 및 제2 영역에 대한 정보를 획득하고, 제1 영역 및 제2 영역에 대응되는 복수개의 타일들의 우선 순위를 설정할 수 있다.
헤드 마운티드 디스플레이를 통하여 컨텐츠를 재생하는데 있어서, 3차원 360도 영상 중 사용자(705)가 실제로 보길 원하는 영상을 제공하는 것이 중요하므로, 사용자(705)가 실제로 시청하고 있는 영역에 대응되는 영상을 우선적으로 재생할 필요가 있다.
따라서, 영상 저장 장치(1020)는 디스플레이 장치(1030)가 제1 영역을 우선적으로 디스플레이할 수 있도록, 제1 영역에 대응되는 적어도 하나의 타일을 다른 타일들보다 최우선 순위로 하여 디스플레이 장치(1030)로 스트리밍할 수 있다.
또한, 사용자(705)는 실제 시청 영역인 제1 영역을 보고 있다가, 시점(view point)을 변경하여 다른 영역을 볼 수 있을 것이다. 이 경우, 사용자(705)가 변경된 시점에 대응하여 보길 원하는 영역은 감독(1105)이 지정한 시청 영역인 제2 영역(725, 745)이 될 확률이 높다. 예를 들어, 감독(1105)은 영화의 스토리를 가장 잘 파악할 수 있도록 하는 영역을 감독의 시청 영역(director’s FoV)로 설정할 수 있기 때문이다. 예를 들어, 감독의 시청 영역(director’s FoV)은 주인공이 존재하는 영역, 영화의 주요 공간이 위치하는 영역, 영화의 내용을 고려하여 중요한 의미가 있는 영역 등으로 설정될 수 있을 것이다.
따라서, 영상 저장 장치(1020)에서 디스플레이 장치(1030)로 스트리밍될 타일 데이터들의 우선 순위는 디스플레이 장치(1030)의 사용자의 실제 시청 영역 및 영상 데이터에 대응되는 컨텐츠의 제작자(예를 들어, 감독)가 설정한 시청 영역에 근거하여 설정될 수 있을 것이다.
또한, 영상 저장 장치(1020)에서 디스플레이 장치(1030)로 스트리밍될 타일 데이터들의 우선 순위는 영상 데이터에 대응되는 컨텐츠를 시청한 시청자들의 시청 영역 이력에 근거하여 설정될 수 있을 것이다. 예를 들어, 영상 저장 장치(1020)가 스트리밍 서비스 기반의 컨텐츠 제공 서버인 경우, 영상 저장 장치(1020)는 다양한 시청자들에게 컨텐츠의 스트리밍 서비스를 제공하였을 것이다. 이 때, 영상 저장 장치(1020)가 원본 영상을 복수개의 타일 단위로 분할하여 타일 데이터들을 스트리밍한다고 할 때, 영상 저장 장치(1020)는 복수의 시청자들 각각에게 전송한 타일 데이터들의 이력을 저장하고 있을 수 있다. 즉, 소정 시점에서 제1 사용자에게는 ID 값이 7, 8, 11, 및 12 인 타일 데이터들을 전송하고, 제2 사용자에게는 ID 값이 9, 10, 13, 및 14 인 타일 데이터들을 전송하고, 제3 사용자에게는 ID 값이 9, 10, 13, 및 14 인 타일 데이터들을 전송하였을 경우, 영상 저장 장치(1020)는 복수의 시청자들 각각에게 전송한 타일들의 ID 값에 대한 이력을 저장하고, 누적된 이력에서 가장 전송 빈도가 높은 순서대로 복수개의 타일 ID 값을 추출할 수 있을 것이다. 그리고, 이러한 누적된 시청 이력에 근거하여 적어도 하나의 제2 영역에 대한 우선 순위를 설정할 수 있을 것이다.
예를 들어, 누적된 시청 이력에 따라서, 타일 ID 값이 9, 10, 13, 및 14 값을 갖는 타일 데이터들이 가장 많이 스트리밍되고, 후순위로 타일 ID 값이 6, 7, 10, 및 11 값을 갖는 타일 데이터들이 그 다음으로 많이 스트리밍된 경우가 있다. 이 경우, 타일 ID 값이 9, 10, 13, 및 14 값을 갖는 영역인 제2-1 영역이 선순위로, 타일 ID 값이 6, 7, 10, 및 11 값을 갖는 영역인 제2-2 영역이 후순위로 설정할 수 있을 것이다.
또 다른 예로, 우선 순위는 영상 데이터에 대응되는 컨텐츠에 대한 자동 컨텐츠 인식(ACR: Automatic Contents Recognition) 결과에 근거하여 설정될 수 있을 것이다. 자동 컨텐츠 인식 결과, 화면 상에서 주된 객체가 존재하는 영역들의 순서대로, 복수개의 부분 영역들의 우선 순위가 결정될 수도 있을 것이다. 예를 들어, 하나의 화면 상에 영화의 주인공이 위치하는 영역이 제2-1 영역이고, 영화의 보조 출연자가 위치하는 영역이 제2-2영역인 경우, 영상 저장 장치(1020) 또는 컨텐츠의 제작자는 제2-1 영역 및 제2-2영역을 자동으로 인식하고, 제2-1 영역 및 제2-2영역 순서대로 우선 순위를 부여할 수 있을 것이다.
또한, 우선 순위는 영상 데이터에 대응되는 컨텐츠의 등장 인물 위치 및 상기 컨텐츠의 내용 중 적어도 하나에 근거하여 설정될 수 있을 것이다.
전술한 바와 같이, 영상 저장 장치(1020)은 설정된 우선 순위에 따라서, 복수개의 영역에 대응되는 복수개의 타일 데이터들을 디스플레이 장치로 스트리밍 할 수 있다.
도 11에서 설명한 바와 같이, 복수의 부분 영역들(예를 들어, 제1 영역, 및 제2 영역)에 대응되는 타일 데이터들을 선택적으로 디스플레이 장치(1030)로 스트리밍할 경우, 디스플레이 장치(1030)의 사용자가 현재 시청 영역을 변경하여 다른 영역을 보게 되는 경우, 디스플레이 장치(1030)의 사용자가 새롭게 보게 되는 영역에 대응되는 데이터를 새롭게 요청할 필요 없이, 즉각적으로 디스플레이 장치(1030)의 사용자가 새롭게 보게 되는 영역에 대한 디스플레이를 제공할 수 있게 된다. 따라서, 디스플레이 장치(1030)의 사용자의 의도에 더욱 부합하도록 시청 영역에 대응되는 영상을 탄력적으로 재생할 수 있다.
또한, 도 11에서는 제1 영역과 제2 영역이 서로 중복되지 않는 경우를 예로 들어 도시하였으나, 제1 영역과 제2 영역 간의 일부에 있어서 중첩이 될 수도 있을 것이다. 예를 들어, 제1 영역에 대응되는 타일 ID 값이 7,8, 11 및 12 값을 갖고, 제2 영역에 대응되는 타일 ID 값이 6, 7, 10 및 11 이 될 수 있을 것이다. 전술한 바와 같이 제1 영역에 대응되는 타일들의 우선 순위가 제2 영역에 대응되는 타일 들의 우선 순위 보다 높으므로, 이 경우, 영상 저장 장치(1020)은 제1 영역에 대응되는 타일 ID 값이 7,8, 11 및 12 값을 갖는 타일 데이터들을 디스플레이 장치(1030)으로 스트리밍하고, 후속하여 타일 ID 값이 6, 7, 10 및 11 값을 갖는 타일 데이터들을 디스플레이 장치(1030)으로 스트리밍하게 된다. 다만, 타일 ID 값이 6, 7, 10 및 11 값을 갖는 타일 데이터들을 디스플레이 장치(1030)으로 스트리밍 할 때, 타일 ID 값이 7 및 11값을 갖는 타일 데이터들은 이미 제1 영역에 대응되는 타일 데이터들을 송부할 때 송부된 상태이므로, 송부되지 않은 타일 데이터들인 타일 ID 값이 6 및 10을 갖는 타일 데이터들만을 송부하면 될 것이다.
또한, 디스플레이 장치(1030)은 영상 저장 장치(1020)에서 송부되는 우선 순위에 근거하여, 스트리밍되는 타일 데이터들을 수신 및 저장할 수 있다. 구체적으로, 디스플레이 장치(1030)는 높은 우선 순위를 갖는 타일 데이터들을 우선적으로 수신하여 저장할 수 있다. 그리고, 후순위의 우선 순위를 갖는 타일 데이터들을 후속하여 수신 및 저장할 수 있을 것이다.
또한, 우선 순위에 대한 정보는 타일 데이터들을 형성하는 스트림과 별도의 스트림을 통하여 디스플레이 장치(1030)로 전송될 수 있다. 예를 들어, 영상 저장 장치(1020)는 우선 순위에 대한 정보를 포함하는 스트림을 먼저 디스플레이 장치(1030)로 전송한 이후, 후속하여 타일 데이터들에 대응되는 적어도 하나의 스트림을 디스플레이 장치(1030)로 전송할 수 있을 것이다. 예를 들어, 우선 순위에 대한 정보는 타일 데이터들과 별도의 스트림에 포함되는 메타 데이터(metadata) 내에 포함될 수 도 있을 것이다.
또한, 우선 순위에 대한 정보는 타일 데이터들이 포함되는 스트림의 일 부분에 포함되는 형태로 전송될 수도 있을 것이다. 예를 들어, 우선 순위에 대한 정보는 스트림에 포함되는 헤더(header) 영역에 삽입될 수 있을 것이다. 따른 예로, 타일 데이터들이 GOP(Group of Picture) 로 형성되는 스트림으로 전송되는 경우, 우선 순위에 대한 정보는 각 GOP의 헤더(header) 영역에 삽입될 수 있을 것이다.
도 12는 영상 저장 장치에서 디스플레이 장치로 영상 데이터를 스트리밍하는 동작을 설명하기 위한 다른 도면이다.
도 12에 있어서, 영상 저장 장치(1020) 및 디스플레이 장치(1210)는 각각 도 3a에서 도시된 영상 저장 장치(310) 및 도 3b 에서 도시된 영상 저장 장치(350) 또는 도 4에 도시된 영상 저장 장치(400)에 동일 대응된다. 따라서, 도 12에 도시된 영상 저장 장치(1020) 및 디스플레이 장치(1210) 간의 동작을 설명하는데 있어서, 도 3 내지 도 11에서와 중복되는 설명은 생략한다. 또한, 도 12의 1260 블록에 도시된 타일 데이터들은 도 10 에 도시된 101 블록에 도시된 타일 데이터들과 동일 대응된다. 이하에서는, 도 12에 도시된 동작들을 설명하는데 있어서, 도 3b의 디스플레이 장치에 도시된 세부 구성 및 도 4b에 도시된 세부 구성을 참조하도록 한다.
또한, 도 12의 디스플레이 장치(1210) 내부에 도시된 구성들은, 디스플레이 장치(1210)의 물리적인 구성을 나타내는 것이 아니라, 디스플레이 장치(1210)에서 수행되는 동작들을 설명하기 위한 구성들이다. 또한, 블록(1250)에 도시된 구성들은, 영상 저장 장치(1020)의 물리적인 구성들을 나타내는 것이 아니라, 영상 저장 장치(1020)에서 수행되는 동작들을 설명하기 위한 구성들이다.
도 12를 참조하면, 센싱부(360)는 적어도 하나의 센서들의 감지 결과를 나타내는 신호(1220)를 획득할 수 있다. 구체적으로, 신호(12200는 자이로 센서의 감지 결과를 나타내는 신호(1221), 가속도 센서의 감지 결과를 나타내는 신호(1222), 지자계 센서의 감지 결과를 나타내는 신호(1223) 및 온도 센서의 감지 결과를 나타내는 신호(1224) 중 적어도 하나를 포함할 수 있다. 이외에도, 신호(1220)는 사용자의 시점(view point) 또는 사용자의 실제 시청 영역을 결정할 수 있는 적어도 하나의 신호를 더 포함할 수 있다.
그리고, 디스플레이 장치(350)의 제어부(355)는 획득된 신호(1220)에 근거하여 사용자의 시청 자세 또는 시청 자세 변화를 추적(1231)한다. 추적(1231)의 결과, 사용자의 실제 시청 영역(User’s FoV)(1281)이 결정될 수 있다. 계속하여, 제어부(355)는 사용자의 실제 시청 영역(1281)에 대응되는 타일 ID 를 생성(1233)할 수 있다. 여기서, 사용자의 실제 시청 영역(1281)에 대응되는 타일 ID는 전술한 ‘제1 영역에 대한 정보’가 될 수 있다. 도 11에 도시된 예시에 있어서, 사용자의 실제 시청 영역(1281)에 기반하여 생성된 타일 ID는 ‘타일 ID: 7,8,11,12’가 될 수 있을 것이다. 디스플레이 장치(1210)는 통신부(320)의 통신 제어(1240)를 통하여, 제1 영역에 대한 정보인 ‘타일 ID: 7,8,11,12’(1286) 정보를 영상 저장 장치(1020)로 송부할 수 있다. 그러면, 영상 저장 장치(1020)는 수신된 정보인 ‘타일 ID: 7,8,11,12’(1286) 정보에 근거하여, ‘타일 ID: 7,8,11,12’에 대응되는 타일 데이터들(1270)을 디스플레이 장치(1210)로 전송(1284)할 수 있다.
한편, 영상 저장 장치(1020)에 저장된 영상 데이터는 1260 블록에서와 같이 복수개의 타일 ID 각각에 대응되는 복수개의 데이터 셋이 포함될 수 있다. 영상 저장 장치(1020)은 제1 영역과 다른 적어도 하나의 제2 영역인 감독의 시청 영역(Director’s FoV)에 대한 정보를 획득할 수 있다. 도 12를 참조하면, 감독의 시청 영역(Director’s FoV)에 대한 정보가 ‘제2 영역에 대한 정보’가 될 수 있다. 또한, 도 12의 1260 블록을 참조하면, 감독의 시청 영역(Director’s FoV)을 나타내는 타일 ID는 ‘타일 ID: 10, 11, 14, 15’가 될 수 있을 것이다. 영상 저장 장치(1020)는 감독의 시청 영역(Director’s FoV)을 나타내는 정보(1283)를 디스플레이 장치(1210)로 전송할 수 있다. 그리고, 감독의 시청 영역(Director’s FoV)(제2 영역)에 대응되는 타일 데이터들(1261)을 디스플레이 장치(1210)로 전송(1285)할 수 있다.
디스플레이 장치(1210)는 제1 영역에 대응되는 타일 데이터들(1270) 및 제2 영역에 대응되는 타일 데이터(1261)을 수신하고, 우선 순위에 따라서 제1 영역에 대응되는 타일 데이터들(1270)를 우선적으로 수신 및 저장하고, 후속하여 제2 영역에 대응되는 타일 데이터(1261)를 수신 및 저장할 수 있을 것이다.
도 13은 본 발명의 실시예에 따른 3차원 360도 영상 데이터의 전송 방법을 나타내는 흐름도이다. 본 개시의 실시예에 따른 3차원 360도 영상 데이터의 전송 방법은 도 1 내지 도 12를 참조하여 설명한 본 개시의 실시예에 따른 디스플레이 장치 및 영상 저장 장치 중 적어도 하나에서 수행되는 동작들에 대응되는 적어도 하나의 단계를 포함한다. 또한, 본 발명의 실시예에 따른 3차원 360도 영상 데이터의 전송 방법은 도 1 내지 도 12를 참조하여 설명한 본 개시의 실시예에 따른 디스플레이 장치 및 영상 저장 장치 중 적어도 하나에 포함되는 구성상 특징을 포함할 수 있다.
그러므로, 도 13에 도시된 3차원 360도 영상 데이터의 전송 방법(1300)를 설명하는데 있어서, 도 1 내지 도 12에서와 중복되는 설명은 생략한다. 이하에서는, 데이터의 전송 방법으로, 스트리밍 방법(또는 스트리밍 방식)이 이용되는 경우를 예로 들어서 설명한다.
도 13을 참조하면, 3차원 360도 영상 데이터의 전송 방법(1300)은 3차원 360도 영상을 복수개의 타일(tile) 단위로 분할하고, 상기 타일 단위의 영상 데이터를 영상 저장 장치에서 디스플레이 장치로 스트리밍하는 방법이다.
도 13을 참조하면, 3차원 360도 영상 데이터의 전송 방법(1300)은 상기 3차원 360도 영상 중 상기 디스플레이 장치의 사용자의 시점에 대응되는 실제 시청 영역(Field of View)인 제1 영역에 대한 정보를 획득한다(S1310). S1310 단계는 디스플레이 장치(350)에서 수행될 수 있다.
상기 3차원 360도 영상 중 상기 제1 영역과 다르며 적어도 하나의 소정 시점에 대응되는 적어도 하나의 제2 영역에 대한 정보를 획득한다(S1320). S1320 단계는 영상 저장 장치(310)에서 수행될 수 있다.
계속하여, 상기 제1 영역 및 상기 적어도 하나의 제2 영역에 대응되는 복수개의 타일들에 우선 순위를 설정한다(S1330). S1330 단계는 영상 저장 장치(310)에서 수행될 수 있다. 또는, 디스플레이 장치(350)가 자체적으로, 디스플레이 장치(350)의 사용자의 실제 시청 영역인 제1 영역을 최 우선순위로 설정하고, 감독의 시청 영역(FoV)인 제2 영역을 후순위로 설정할 수도 있을 것이다.
상기 우선 순위에 대응되는 순서대로, 상기 제1 영역 및 상기 적어도 하나의 제2 영역에 대응되는 복수개의 타일들에 대응되는 복수개의 타일 데이터를 상기 영상 저장 장치에서 상기 디스플레이 장치로 스트리밍 한다(S1340). S1340 단계는 영상 저장 장치(310)에서 수행될 수 있다.
또한, 디스플레이 장치(350)는 우선 순위에 대응되는 순서대로, 상기 제1 영역 및 상기 적어도 하나의 제2 영역에 대응되는 복수개의 타일들에 대응되는 복수개의 타일 데이터들을 분리하여 수신 및 저장할 수 있다. 구체적으로, 디스플레이 장치(350)는 전송되는 타일 데이터들 중, 최우선 순위를 갖는 타일 데이터를 우선적으로 수신하여 저장하고, 후속하여 후순위를 갖는 타일 데이터들을 수신 및 저장할 수 있다.
전술한 본 개시의 실시예에 따르면, 본 개시의 실시예 발명은 컨텐츠에 대응되는 영상 데이터를 무선 네트워크를 통하여 스트리밍하는데 있어서, 데이터의 전송량을 증가시키지 않고도 고화질의 영상을 디스플레이 장치가 재생할 수 있도록 한다. 또한, 디스플레이 장치의 사용자가 원하는 시청 영역을 빠르고 정확하게 재생할 수 있도록, 원본 영상 데이터 중 일부만을 빠르게 스트리밍할 수 있다.
전술한 실시예는, 일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. 또한, 일부 실시예는 컴퓨터에 의해 실행되는 컴퓨터 프로그램과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램 또는 컴퓨터 프로그램 제품 (computer program product)으로도 구현될 수 있다.
본 개시에서 설명된 특정 실행들은 일 실시예 일 뿐이며, 어떠한 방법으로도 본 개시의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 및 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다.
130: 헤드 마운티드 디스플레이
210: 영상 저장 장치
250: 디스플레이 장치
310: 영상 저장 장치
315: 제어부
320: 통신부
325: 메모리
350: 디스플레이 장치
355: 제어부
360: 센싱부
365: 메모리
370: 통신부
375: 출력부
377: 디스플레이
379: 음향 출력부

Claims (20)

  1. 3차원 360도 영상을 복수개의 타일(tile) 단위로 분할하고, 상기 타일 단위의 영상 데이터를 영상 저장 장치에서 디스플레이 장치로 전송하는 방법에 있어서,
    상기 3차원 360도 영상 중 상기 디스플레이 장치의 사용자의 시점에 대응되는 시청 영역(Field of View)인 제1 영역에 대한 정보를 획득하는 단계;
    상기 3차원 360도 영상 중 상기 제1 영역과 다르며 적어도 하나의 소정 시점에 대응되는 적어도 하나의 제2 영역에 대한 정보를 획득하는 단계;
    상기 제1 영역 및 상기 적어도 하나의 제2 영역에 대응되는 복수개의 타일들에 우선 순위를 설정하는 단계; 및
    상기 우선 순위에 대응되는 순서대로, 상기 제1 영역 및 상기 적어도 하나의 제2 영역에 대응되는 복수개의 타일 데이터를 상기 영상 저장 장치에서 상기 디스플레이 장치로 전송하는 단계 포함하는 것을 특징으로 하는 3차원 360도 영상 데이터의 전송 방법.
  2. 제1항에 있어서, 상기 복수개의 타일들의 우선 순위를 설정하는 단계는
    상기 제1 영역에 대응되는 적어도 하나의 타일의 우선 순위가 상기 적어도 하나의 제2 영역에 대응되는 적어도 하나의 타일의 우선 순위보다 높은 값을 갖도록 상기 우선 순위를 설정하는 단계를 포함하는 것을 특징으로 하는 3차원 360도 영상 데이터의 전송 방법.
  3. 제1항에 있어서, 상기 전송하는 단계는
    상기 제1 영역에 대응되는 적어도 하나의 타일에 대응되는 적어도 하나의 타일 데이터를 제1 스트림으로 전송하고, 상기 적어도 하나의 제2 영역 각각에 대응되는 적어도 하나의 타일 데이터를 제2 스트림으로 전송하는 단계를 포함하는 것을 특징으로 하는 3차원 360도 영상 데이터의 전송 방법.
  4. 제1항에 있어서, 상기 우선 순위는
    상기 사용자의 시점에 대응되는 시청 영역 및 상기 영상 데이터에 대응되는 컨텐츠의 제작자가 설정한 시청 영역에 근거하여 설정되는 것을 특징으로 하는 3차원 360도 영상 데이터의 전송 방법.
  5. 제1항에 있어서, 상기 우선 순위는
    상기 영상 데이터에 대응되는 컨텐츠를 시청한 시청자들의 시청 영역 이력에 근거하여 설정되는 것을 특징으로 하는 3차원 360도 영상 데이터의 전송 방법.
  6. 제1항에 있어서, 상기 우선 순위는
    상기 영상 데이터에 대응되는 컨텐츠에 대한 자동 컨텐츠 인식(ACR: Automatic Contents Recognition) 결과에 근거하여 설정되는 것을 특징으로 하는 3차원 360도 영상 데이터의 전송 방법.
  7. 제1항에 있어서, 상기 우선 순위는
    상기 영상 데이터에 대응되는 컨텐츠의 등장 인물 위치 및 상기 컨텐츠의 내용 중 적어도 하나에 근거하여 설정되는 것을 특징으로 하는 3차원 360도 영상 데이터의 전송 방법.
  8. 제1항에 있어서,
    상기 3차원 360도 영상은
    좌안 시점(left view)에 대응되는 360도 영상인 좌안 영상 및 우안 시점(right view)에 대응되는 360도 영상인 우안 영상을 포함하며,
    상기 영상 데이터는
    HEVC 규격에 따른 MCT(motion constrained tile) 기법에 따라서 상기 타일 단위로 분할 및 엔코딩되는 것을 특징으로 하는 3차원 360도 영상 데이터의 전송 방법.
  9. 제8항에 있어서, 상기 전송하는 단계는
    상기 좌안 영상 중 상기 제1 영역에 대응되는 적어도 하나의 타일에 대응되는 적어도 하나의 타일 데이터 및 상기 우안 영상 중 상기 제1 영역에 대응되는 적어도 하나의 타일에 대응되는 적어도 하나의 타일 데이터를 다중 시점 코덱(MVC: Multi-View Codec)으로 압축하여, 하나의 스트림으로 형성하는 단계; 및
    상기 하나의 스트림을 상기 디스플레이 장치로 전송하는 단계를 포함하는 것을 특징으로 하는 3차원 360도 영상 데이터의 전송 방법.
  10. 도 1에 있어서, 상기 디스플레이 장치는
    헤드 마운티드 디스플레이인 것을 특징으로 하는 차원 360도 영상 데이터의 전송 방법.
  11. 3차원 360도 영상을 복수개의 타일(tile)들의 단위로 분할할 때, 상기 타일 단위의 영상 데이터를 스트리밍하는 디스플레이 장치에 있어서,
    디스플레이;
    상기 영상 데이터를 저장하는 영상 저장 장치와 통신하는 통신부;
    스트리밍된 상기 영상 데이터를 저장하는 메모리; 및
    하나 이상의 인스트럭션을 저장하며, 상기 저장된 상기 하나 이상의 인스트럭션을 수행하는 프로세서를 적어도 하나 포함하는 제어부를 포함하며,
    상기 제어부는
    상기 3차원 360도 영상 중 상기 디스플레이 장치의 사용자의 시청 영역(Field of View)인 제1 영역 및 상기 3차원 360도 영상 중 상기 제1 영역과 다르며 적어도 하나의 소정 시점에 대응되는 적어도 하나의 제2 영역에 대응되는 복수개의 타일 데이터들, 및 상기 복수개의 타일들에 우선 순위를 나타내는 정보가 상기 영상 저장 장치에서 스트리밍 되도록 제어하며, 상기 우선 순위를 나타내는 정보에 근거하여 상기 복수개의 타일들 중 적어도 하나의 타일에 대응되는 영상이 상기 디스플레이를 통하여 출력되도록 제어하는 것을 특징으로 하는 디스플레이 장치.
  12. 제11항에 있어서,
    상기 제1 영역에 대응되는 적어도 하나의 타일의 우선 순위가 상기 적어도 하나의 제2 영역에 대응되는 적어도 하나의 타일의 우선 순위보다 높은 값을 갖는 것을 특징으로 하는 디스플레이 장치.
  13. 제11항에 있어서, 상기 우선 순위는
    상기 사용자의 시점에 대응되는 시청 영역 및 상기 영상 데이터에 대응되는 컨텐츠의 제작자가 설정한 시청 영역에 근거하여 설정되는 것을 특징으로 디스플레이 장치.
  14. 제11항에 있어서, 상기 우선 순위는
    상기 영상 데이터에 대응되는 컨텐츠를 시청한 시청자들의 시청 영역 이력에 근거하여 설정되는 것을 특징으로 하는 디스플레이 장치.
  15. 제11항에 있어서, 상기 3차원 360도 영상은
    좌안 시점(left view)에 대응되는 360도 영상인 좌안 영상 및 우안 시점(right view)에 대응되는 360도 영상인 우안 영상을 포함하며,
    상기 영상 데이터는
    HEVC 규격에 따른 MCT(motion constrained tile) 기법에 따라서 상기 타일 단위로 분할 및 엔코딩되는 것을 특징으로 디스플레이 장치.
  16. 제11항에 있어서, 상기 제어부는
    상기 우선 순위에 대한 정보에 근거하여, 상기 제1 영역에 대응되는 적어도 하나의 타일 데이터를 최우선적으로 수신하여 상기 메모리에 저장되도록 제어하는 것을 특징으로 하는 디스플레이 장치.
  17. 제11항에 있어서, 상기 제어부는
    상기 우선 순위를 나타내는 정보에 근거하여, 상기 복수개의 타일 데이터들 중 상기 메모리 내의 우선적으로 저장될 적어도 하나의 타일 데이터를 결정하는 것을 특징으로 하는 디스플레이 장치.
  18. 제11항에 있어서, 상기 디스플레이 장치는
    헤드 마운티드 디스플레이인 것을 특징으로 하는 디스플레이 장치.
  19. 컨텐츠를 형성하는 3차원 360도 영상을 복수개의 타일(tile)들의 단위로 분할하고, 상기 타일 단위의 영상 데이터를 디스플레이 장치로 스트리밍하는 영상 저장 장치에 있어서,
    상기 영상 데이터를 저장하는 메모리;
    상기 디스플레이 장치와 통신하는 통신부; 및
    하나 이상의 인스트럭션을 저장하며, 상기 하나 이상의 인스트럭션을 수행하는 프로세서를 적어도 하나 포함하는 제어부를 포함하며,
    상기 제어부는
    상기 3차원 360도 영상 중 상기 디스플레이 장치의 사용자의 시청 영역(Field of View)인 제1 영역에 대한 정보를 획득하며, 상기 3차원 360도 영상 중 상기 제1 영역과 다르며 적어도 하나의 소정 시점에 대응되는 적어도 하나의 제2 영역에 대한 정보를 획득하고, 상기 제1 영역 및 상기 적어도 하나의 제2 영역에 대응되는 복수개의 타일들에 우선 순위를 설정하며, 상기 제1 영역 및 상기 적어도 하나의 제2 영역에 대응되는 복수개의 타일 데이터들이 상기 우선 순위에 따른 순서대로 상기 디스플레이 장치로 전송되도록 제어하는 것을 특징으로 하는 영상 저장 장치.
  20. 제19항에 있어서, 상기 제어부는
    상기 제1 영역에 대응되는 적어도 하나의 타일의 우선 순위가 상기 적어도 하나의 제2 영역에 대응되는 적어도 하나의 타일의 우선 순위보다 높은 값을 갖도록 상기 복수개의 타일들의 우선 순위를 설정하는 것을 특징으로 하는 영상 저장 장치.
KR1020180062095A 2018-05-30 2018-05-30 3차원 360도 영상 데이터의 전송 방법, 그에 따른 디스플레이 장치, 및 그에 따른 영상 저장 장치 KR20190136417A (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020180062095A KR20190136417A (ko) 2018-05-30 2018-05-30 3차원 360도 영상 데이터의 전송 방법, 그에 따른 디스플레이 장치, 및 그에 따른 영상 저장 장치
CN201980036386.2A CN112204960A (zh) 2018-05-30 2019-05-29 传输三维360度视频数据的方法、使用该方法的显示设备以及使用该方法的视频存储设备
PCT/KR2019/006427 WO2019231234A1 (en) 2018-05-30 2019-05-29 Method of transmitting 3-dimensional 360 degree video data, display apparatus using the method, and video storage apparatus using the method
US16/424,651 US20190373244A1 (en) 2018-05-30 2019-05-29 Method of transmitting 3-dimensional 360 degree video data, display apparatus using the method, and video storage apparatus using the method
EP19177317.5A EP3576414A1 (en) 2018-05-30 2019-05-29 Method of transmitting 3-dimensional 360 degree video data, display apparatus using the method, and video storage apparatus using the method
JP2019101771A JP2019213196A (ja) 2018-05-30 2019-05-30 三次元３６０°映像データの伝送方法とそのためのディスプレイ装置及び映像保存装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180062095A KR20190136417A (ko) 2018-05-30 2018-05-30 3차원 360도 영상 데이터의 전송 방법, 그에 따른 디스플레이 장치, 및 그에 따른 영상 저장 장치

Publications (1)

Publication Number Publication Date
KR20190136417A true KR20190136417A (ko) 2019-12-10

Family

ID=66676394

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180062095A KR20190136417A (ko) 2018-05-30 2018-05-30 3차원 360도 영상 데이터의 전송 방법, 그에 따른 디스플레이 장치, 및 그에 따른 영상 저장 장치

Country Status (6)

Country Link
US (1) US20190373244A1 (ko)
EP (1) EP3576414A1 (ko)
JP (1) JP2019213196A (ko)
KR (1) KR20190136417A (ko)
CN (1) CN112204960A (ko)
WO (1) WO2019231234A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021124520A (ja) * 2020-01-31 2021-08-30 株式会社ジョリーグッド 画像表示装置、画像表示用プログラム及び画像表示方法
US11671573B2 (en) * 2020-12-14 2023-06-06 International Business Machines Corporation Using reinforcement learning and personalized recommendations to generate a video stream having a predicted, personalized, and enhance-quality field-of-view
CN113079385A (zh) * 2021-03-18 2021-07-06 中国电子科技集团公司第五十四研究所 一种基于用户感知的混合式瓦片缓存方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101506217B1 (ko) * 2008-01-31 2015-03-26 삼성전자주식회사 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
US20140354770A1 (en) * 2011-12-27 2014-12-04 Lg Electronics Inc. Digital broadcast receiving method for displaying three-dimensional image, and receiving device thereof
KR20140111875A (ko) * 2013-03-12 2014-09-22 엘지전자 주식회사 영상 표시장치 및 그것의 비디오 스트림 제어방법
CA2948642A1 (en) * 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for delivering content and/or playing back content
US20160353146A1 (en) * 2015-05-27 2016-12-01 Google Inc. Method and apparatus to reduce spherical video bandwidth to user headset
KR102157655B1 (ko) * 2016-02-17 2020-09-18 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US10565463B2 (en) * 2016-05-24 2020-02-18 Qualcomm Incorporated Advanced signaling of a most-interested region in an image
US10917564B2 (en) * 2016-10-12 2021-02-09 Qualcomm Incorporated Systems and methods of generating and processing files for partial decoding and most interested regions

Also Published As

Publication number Publication date
JP2019213196A (ja) 2019-12-12
WO2019231234A1 (en) 2019-12-05
US20190373244A1 (en) 2019-12-05
CN112204960A (zh) 2021-01-08
EP3576414A1 (en) 2019-12-04

Similar Documents

Publication Publication Date Title
CN106331732B (zh) 生成、展现全景内容的方法及装置
CN106792246B (zh) 一种融合式虚拟场景互动的方法及系统
CN109416931B (zh) 用于视线跟踪的装置和方法
CN106789991B (zh) 一种基于虚拟场景的多人互动网络直播方法及系统
KR101946019B1 (ko) 파노라믹 동영상을 생성하는 동영상 처리 장치 및 그 방법
KR101210315B1 (ko) 3차원 비디오 위에 그래픽 객체를 오버레이하기 위한 추천 깊이 값
US20100103168A1 (en) Methods and apparatuses for processing and displaying image
US20100309202A1 (en) Terminal Device and Control Program Thereof
JP2006128818A (ja) 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
KR20130138750A (ko) 콘텐츠 송신 장치, 콘텐츠 송신 방법, 콘텐츠 재생 장치, 콘텐츠 재생 방법, 프로그램 및 콘텐츠 배신 시스템
KR102133207B1 (ko) 통신장치, 통신 제어방법 및 통신 시스템
US10511767B2 (en) Information processing device, information processing method, and program
EP3621309A1 (en) Transmission system for multi-channel image, control method therefor, and multi-channel image playback method and apparatus
KR20150011943A (ko) 방송 제공 장치, 방송 제공 시스템 및 이들의 방송 제공 방법
KR20190136417A (ko) 3차원 360도 영상 데이터의 전송 방법, 그에 따른 디스플레이 장치, 및 그에 따른 영상 저장 장치
WO2019139099A1 (ja) 送信装置、送信方法、受信装置および受信方法
JP2006128816A (ja) 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
JP6934052B2 (ja) 表示制御装置、表示制御方法及びプログラム
KR20130050464A (ko) 증강 콘텐츠 생성 장치 및 방법, 증강 방송 송신 장치 및 방법, 및 증강 방송 수신 장치 및 방법
KR102084970B1 (ko) 가상현실 관람 방법 및 가상현실 관람 시스템
WO2016167160A1 (ja) データ生成装置および再生装置
CN109862385B (zh) 直播的方法、装置、计算机可读存储介质及终端设备
US20210195300A1 (en) Selection of animated viewing angle in an immersive virtual environment
US9560103B2 (en) Custom video content
US11134236B2 (en) Image processing device and system

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180530

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210226

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20180530

Comment text: Patent Application

PC1202 Submission of document of withdrawal before decision of registration

Comment text: [Withdrawal of Procedure relating to Patent, etc.] Withdrawal (Abandonment)

Patent event code: PC12021R01D

Patent event date: 20211231