[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20140104121A - 복합 차원 콘텐츠 제공 시스템, 그 제공 방법 및 복합 차원 콘텐츠 파일 - Google Patents

복합 차원 콘텐츠 제공 시스템, 그 제공 방법 및 복합 차원 콘텐츠 파일 Download PDF

Info

Publication number
KR20140104121A
KR20140104121A KR1020130017859A KR20130017859A KR20140104121A KR 20140104121 A KR20140104121 A KR 20140104121A KR 1020130017859 A KR1020130017859 A KR 1020130017859A KR 20130017859 A KR20130017859 A KR 20130017859A KR 20140104121 A KR20140104121 A KR 20140104121A
Authority
KR
South Korea
Prior art keywords
information
dimensional content
partial image
image
image portion
Prior art date
Application number
KR1020130017859A
Other languages
English (en)
Inventor
임형빈
이세준
Original Assignee
주식회사 카몬
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 카몬 filed Critical 주식회사 카몬
Priority to KR1020130017859A priority Critical patent/KR20140104121A/ko
Priority to PCT/KR2013/011933 priority patent/WO2014129735A1/ko
Publication of KR20140104121A publication Critical patent/KR20140104121A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 복합 차원 콘텐츠 제공 시스템 및 그 제공 방법에 관한 것이다.
본 발명의 복합 차원 콘텐츠 제공 시스템은 적어도 하나 이상의 2D 부분 영상부와 적어도 하나 이상의 3D 부분 영상부가 결합되어 있는 복합 차원 콘텐츠를 사용자에게 제공하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법에 있어서, 상기 복합 차원 콘텐츠 제공 시스템이 (A) 2D 부분 영상부를 2D 재생 수단으로 재생하는 단계; (B) 3D 부분 영상부를 2D 재생 수단으로 재생하는 단계; (C) 상기 (B) 단계에서 재생되는 왜곡 재생 이미지를 입수하는 단계; (D) 상기 (C) 단계에서 입수한 상기 왜곡 재생 이미지를 3D 렌더링(rendering) 엔진으로 렌더링 처리하는 단계;및 (E) 상기 렌더링 처리된 이미지를 사용자에게 제공하는 단계;를 포함하여 정보 처리하는 것을 특징으로 한다.

Description

복합 차원 콘텐츠 제공 시스템, 그 제공 방법 및 복합 차원 콘텐츠 파일{System, Method and File on Providing Multi-Dimensional Content}
본 발명은 복합 차원 콘텐츠 제공 시스템, 그 제공 방법 및 복합 차원 콘텐츠 파일에 관한 것으로서, 1개의 파일에 2D 부분 영상부와 3D 부분 영상부가 동시에 포함되어 있는 복합 차원 콘텐츠를 단일한 재생 수단을 통해 제공될 수 있도록 하는 복합 차원 콘텐츠 제공 시스템, 그 제공 방법 및 복합 차원 콘텐츠 파일에 관한 것이다.
과거에는 일반 카메라로 여러 각도의 사진을 다수 촬영해서, 파노라마 사진이나 영상을 만들어 서비스 하는데는 촬영 가능한 장비와 그것을 볼 수 있는 특수한 뷰어가 있다고 해도 사용자의 컴퓨터 사양이 좋지 않으면 동영상 자체가 원할 하게 재생되지 않는 문제가 있었다. 하지만, 보다 편리하게 3D 영상을 촬영할 수 있는 장비의 등장과 함께 사용자의 컴퓨터 사양이 점점 업그레이드 되면서 이제는 문제가 과연 얼마나 좋은 콘텐츠를 사용자에게 제공하는 가가 문제가 되었다.
3D영상 그리고 2D영상은 각각이 사용자들에게 어필할 수 있는 점이 다르다. 따라서 2D 영상과 3D 영상을 1개의 콘텐츠에 복합시키는 복합 차원 콘텐츠가 나온다면 많은 사용자들에게 인기를 끌 수 있을 것으로 예측된다.
한편, 2D영상과 3D영상을 각각 촬영하여 각각을 시청할 수 있는 2D 또는 3D 플레이어로 한쪽이 끝나는 시점에서 다른 플레이어가 이어서 재생되는 방식으로 재생시키는 경우에는 이어지는 시점 즉, 서로 다른 종류의 영상이 교체되는 시점에서 나타나는 플레이어의 새로 고침 현상이 이외로 긴 시간이 걸리며, 사용자들에게 마지 영상의 재생이 끝나 버렸다는 착각을 일으킬 수 있게 된다.
이에, 2D와 3D 영상의 통합 편집으로 구성되는 복합 차원 콘텐츠의 필요성이 대두된다. 하지만, 통합 편집 방식은 여러 가지 문제점이 있는데, 통합 편집 시 2D와 3D 영상의 크기가 서로 틀리기 때문에 나오는 2D 위,아래 부분은 검은 여백 부분 제어 문제와 2D와 3D 영상이 나오는 시점을 판단하여 3D 렌더링을 제어하는 문제 등이 있었다.
따라서, 복합 차원 콘텐츠의 도입, 복합 차원 콘텐츠의 구성 및 복합 차원 콘텐츠의 서비스를 위한 기술적인 문제 해결 방법이 절실히 요구되어 왔다.
통상적으로 영상(동영상 등)을 사용자에게 제공할 때, 2D 콘텐츠에 대해서는 2D 플레이어를 통하여 재생되어 사용자에게 제공되었다. 그리고, 파노라마 영상은 3D 콘텐츠만을 전용을 재생하는 3D 플레이어를 통해서만 제공되었다.
이때, 2D와 3D 콘텐츠를 동일한 재생 수단을 통하여 사용자들에게 제공되지는 않았으며, 더욱이 적어도 한 부분 이상의 2D 부분 영상부와 적어도 한 부분 이상의 3D 부분 영상부가 1개의 단일 파일에 통합된 경우, 이러한 단일 파일에 대한 단일한 재생 수단을 통한 서비스 제공은 없었다.
특히, 스포츠, 음악, 영화, 다큐멘터리, 교육, 광고 등 각종 콘텐츠에서 2D 영상부와 3D 영상부가 복합된 콘텐츠를 구성하여 제공하면, 사용자들에게 특별한 경험을 제공할 수 있을 것이다. 이에, 2D 영상부와 3D 영상부가 복합되어 있는 복합 차원 콘텐츠를 제공하는 시스템 및 그 제공 방법에 대한 개발이 절실히 요구되어 왔다.
본 발명이 해결하고자 하는 첫번째 과제는 복합 차원 콘텐츠 제공 시스템을 제시하는 것이다.
본 발명이 해결하고자 하는 두번째 과제는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법을 제시하는 것이다.
본 발명이 해결하고자 하는 세번째 과제는 복합 차원 콘텐츠 파일의 구성을 제시하는 것이다.
본 발명이 이루고자 하는 기술적 과제를 달성하기 위하여, 적어도 하나 이상의 2D 부분 영상부와 적어도 하나 이상의 3D 부분 영상부가 결합되어 있는 복합 차원 콘텐츠를 사용자에게 제공하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법에 있어서, 상기 복합 차원 콘텐츠 제공 시스템이 (A) 2D 부분 영상부를 2D 재생 수단으로 재생하는 단계; (B) 3D 부분 영상부를 2D 재생 수단으로 재생하는 단계; (C) 상기 (B) 단계에서 재생되는 왜곡 재생 이미지를 입수하는 단계; (D) 상기 (C) 단계에서 입수한 상기 왜곡 재생 이미지를 3D 렌더링(rendering) 엔진으로 렌더링 처리하는 단계;및 (E) 상기 렌더링 처리된 이미지를 사용자에게 제공하는 단계;를 포함하는 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법을 제시한다.
상기 복합 차원 콘텐츠 제공 시스템은 상기 복합 차원 콘텐츠를 구성하는 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 입수하고, 상기 2D 부분 영상부의 시작 위치에서 상기 (A) 단계를 실시하고, 상기 3D 부분 영상부의 시작 위치에서 상기 (B) 단계를 실시하는 것인 것이 바람직하다.
상기 시작 위치 정보나 구간 위치 정보는 상기 복합 차원 콘텐츠의 외부에 저장되어 있는 것이거나, 상기 복합 차원 콘텐츠 파일의 헤더에 포함되어 있는 것인 것이 바람직하다.
상기 시작 위치 정보나 구간 위치 정보는 상기 복합 차원 콘텐츠의 관리 정보로 상기 복합 차원 콘텐츠가 저장되고 있는 저장 장치와 동일한 저장 장치 또는 저장 시스템에 되어 있는 것이거나, 상기 복합 차원 콘텐츠를 재생하기 전에, 유무선 네트워크를 통하여 상기 시작 위치 정보를 제공하는 제3의 시스템으로부터 전송 받는 것인 것이 바람직하다.
상기 시작 위치 정보나 구간 위치 정보는 시간 구간 단위 또는 시작 시각을 포함하여 구성되는 것이거나, 프레임 번호 구간 단위 또는 시작 프레임 번호를 포함하여 구성되어 있는 것인 것이 바람직하다.
(F) 상기 2D 부분 영상부와 상기 3D 영상부의 경계 정보를 입수하는 단계;및 (G) 입수된 경계 정보에 기초하여, 상기 2D 부분 영상부와 상기 3D 부분 영상부의 경계부로부터 기 설정된 경계 범위에서 차원 변환 처리를 수행하는 단계;를 더 포함하는 것인 것이 바람직하다.
상기 (C) 단계는 비트맵 이미지로 프레임 단위로 입수하는 것인 것이며, 상기 (D) 단계는 프레임 단위로 렌더링 처리하는 것인 것이 바람직하다.
상기 (D) 단계는 구형(sphere) 유형으로 렌더링 처리하는 것이거나, 큐브(cube) 유형으로 렌더링 처리하는 것인 것이 바람직하다.
상기 복합 차원 콘텐츠 제공 시스템은 사용자 단말기에서 구동되는 것이며, 상기 (E) 단계는 상기 사용자 단말기에 포함되어 있거나, 상기 사용자 단말기와 유무선 네트워크로 연결된 적어도 하나 이상의 디스플레이 장치로 제공되는 것인 것이며, 상기 복합 차원 콘텐츠는 상기 사용자 단말기에 저장되어 있는 것이거나, 상기 사용자 단말기와 유무선 네트워크로 연결되는 적어도 하나 이상의 서버로부터 실시간으로 제공되는 것인 것이 바람직하다.
상기 복합 차원 콘텐츠가 상기 사용자 단말기에 제공되는 방법은 상기 서버로부터 상기 사용자 단말기에 HTTP 또는 RTMP 중 어느 하나의 프로토콜을 사용하여 복합 차원 콘텐츠 영상 정보를 전송되는 것인 것이 바람직하다.
상기 복합 차원 콘텐츠가 상기 사용자 단말기에 제공되는 방법은 상기 서버로부터 상기 사용자 단말기에 프로그레시브 다운로드 방식 또는 라이브 스트리밍 방식으로 상기 콘 영상 정보가 전송되는 것인 것이 바람직하다.
상기 (E) 단계는 상기 2D 재생 수단이 재생하는 소리 정보와 상기 (D) 단계에서 렌더링 처리된 이미지를 씽크(sync)하여 소리 정보와 이미지 정보가 함께 제공되는 것인 것이 바람직하다.
상기 (E) 단계는 상기 렌더링 처리된 이미지의 기 설정된 적어도 일 영역이 사용자에게 보여지는 시청 화면 영역으로 제공되는 것이 바람직하다.
상기 시청 화면 영역의 설정에 관한 정보는 상기 복합 차원 콘텐츠의 헤더 정보에 저장되어 있거나, 상기 복합 차원 콘텐츠를 제공하는 서버로부터 전송받는 것이거나, 상기 복합 차원 콘텐츠 제공 시스템에서 설정되거나 기 설정된 시청 화면 영역 설정 규칙에 따라 변경되는 것인 것이 바람직하다.
상기 시청 화면 영역의 설정은 상기 사용자가 설정하는 것인 것이며, 상기 시청 화면 영역의 설정은 상기 사용자가 상기 복합 차원 콘텐츠의 재생 중에 변경할 수 있는 것인 것이 바람직하다.
상기 시청 화면 영역의 설정은 상기 사용자가 시청 화면 영역 설정을 위한 시청 영역 방향을 지정하거나 변경하는 것이며, 상기 시청 영역 방향의 지정이나 변경은 키보드 입력, 키패드 입력, 터치 입력, 음성 입력, 동작 입력 중 어느 하나 이상의 입력을 통해서 이루어지는 것인 것이 바람직하다.
상기 시청 화면 영역 설정에서 변경이 있는 경우, 상기 복합 차원 콘텐츠 제공 시스템은 변경된 시청 화면 영역 설정 정보를 사용하여 상기 렌더링 처리된 이미지에서 사용자에게 보여지는 시청 화면 영역을 변경하는 것인 것이 바람직하다.
상기 시청 영역 방향이 변경되는 경우, 상기 복합 차원 콘텐츠 제공 시스템은 상기 렌더링 처리된 이미지에서 변경된 시청 영역 방향을 반영하여 사용자에게 보여지는 시청 화면 영역을 연속적으로 변경하는 것인 것이 바람직하다.
상기 복합 차원 콘텐츠 제공 시스템은 상기 2D 부분 영상부의 재생 결과가 사용자에게 제공될 때, 상기 2D 부분 영상부의 기 설정된 여백 영역이 제외되고 사용자에게 제공되도록 제어하는 것인 것이 바람직하다.
상기 경계 정보는 상기 복합 차원 콘텐츠를 구성하는 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 사용하는 것인 것이거나, 상기 차원 변환 처리를 수행하는 것은 상기 경계부를 기준으로 기 설정된 시간 구간 또는 기 설정된 프레임 구간을 대상으로 하여 페이드 인(fade in) 페이드 아웃(fade out) 효과가 나도록 처리하는 것인 것이 바람직하다.
본 발명이 이루고자 하는 기술적 과제를 달성하기 위하여, 적어도 하나 이상의 2D 부분 영상부와 적어도 하나 이상의 3D 부분 영상부가 결합되어 있는 복합 차원 콘텐츠를 사용자에게 제공하는 복합 차원 콘텐츠 제공 시스템에 있어서, 상기 복합 차원 콘텐츠 제공 시스템은 2D 부분 영상부와 쓰리 부분 영상부를 재생하는 2D 재생부; 재생 대상이 되는 부분 영상부가 2D 부분 영상부인지 쓰리 부분 영상부인지에 대한 재생 구간 속성 정보를 입수하는 재생 구간 속성 정보 입수부;및 상기 2D 재생부가 3D 부분 영상부를 재생한 결과를 입수하는 왜곡 이미지 입수부; 상기 왜곡 이미지 입수부가 입수하는 왜곡 이미지를 3D 렌더링 엔진으로 렌더링 처리하는 렌더링부;를 포함하는 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템을 제시한다.
상기 재생 구간 속성 정보 입수부는 상기 복합 차원 콘텐츠를 구성하는 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 입수하는 것이거나, 상기 복합 차원 콘텐츠를 구성하는 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시간 구간 대응 정보 또는 프레임 구간 대응 정보를 입수하는 것인 것이 바람직하다.
상기 재생 구간 속성 정보 입수부는 상기 시작 위치 정보나 상기 구간 위치 정보나 상기 시간 구간 대응 정보 또는 상기 프레임 구간 대응 정보를 상기 복합 차원 콘텐츠 파일의 헤드부에서 입수하거나, 상기 복합 차원 콘텐츠 파일과는 독립적으로 외부에 존재하는 재생 구간 속성 정보 파일로부터 입수하는 것인 것이거나, 상기 복합 차원 콘텐츠 영상 정보를 제공하는 복합 차원 콘텐츠 제공 서버로부터 입수하는 것인 것이 바람직하다.
상기 시작 위치 정보나 상기 구간 위치 정보나 상기 시간 구간 대응 정보 또는 상기 프레임 구간 대응 정보는 시간 구간 단위 또는 시작 시각을 포함하여 구성되는 것이거나, 프레임 번호 구간 단위 또는 시작 프레임 번호를 포함하여 구성되어 있는 것인 것이 바람직하다.
상기 2D 부분 영상부와 상기 3D 영상부의 경계 정보를 입수하고, 입수된 경계 정보에 기초하여, 상기 2D 부분 영상부와 상기 3D 부분 영상부의 경계부로부터 기 설정된 경계 범위에서 차원 변환 처리를 수행하는 차원 전환 처리부;를 더 포함하는 것이 바람직하다.
상기 왜곡 이미지는 프레임 단위의 비트맵 이미지인 것이며, 상기 렌더링부가 렌더링 처리를 수행하는 단위는 프레임 단위로 처리하는 것인 것이 바람직하다.
상기 렌더링 처리부가 렌더링 처리를 수행하는 것은 구형(sphere) 유형으로 렌더링 처리하는 것이거나, 큐브(cube) 유형으로 렌더링 처리하는 것인 것이 바람직하다.
상기 복합 차원 콘텐츠 제공 시스템은 사용자 단말기에서 구동되는 것이며, 상기 사용자 단말기는 PC, 스마트폰, 태블릿 컴퓨터, 휴대용 컴퓨터, 게임기, 스마트 TV, 키오스크 단말기, 통신 가능하며 디스플레이 장치가 포함되어 있는 단말기, 외부로부터 복합 차원 콘텐츠 파일이 입수될 수 있고 디스플레이 장치가 내장되거나, 유무선 네트워크로 디스플레이 장치와 통신 가능한 단말기 중 어느 하나 이상인 것이 바람직하다.
상기 복합 차원 콘텐츠 제공 시스템이 구동되는 사용자 단말기는 적어도 하나 이상의 복합 차원 콘텐츠 제공 서버로부터 HTTP 또는 RTMP 중 어느 하나의 프로토콜을 사용하여 복합 차원 콘텐츠 영상 정보를 전송받는 것인 것이거나, 상기 복합 차원 콘텐츠 제공 서버로부터 프로그레시브 다운로드 방식 또는 라이브 스트리밍 방식으로 상기 콘 영상 정보가 전송받는 것인 것이 바람직하다.
상기 2D 재생 수단이 재생하는 소리 정보와 렌더링 처리된 이미지를 씽크하는 씽크 처리부;를 더 포함하는 것이 바람직하다.
상기 렌더링 처리된 이미지의 기 설정된 적어도 일 영역이 사용자에게 보여지는 시청 화면 영역으로 제공되는 것이 상기 사용자가 조절할 수 있도록 지원하는 시청 화면 영역 선택 지원부;를 포함하는 것인 것이 바람직하다.
상기 시청 화면 영역 선택 지원부는 상기 사용자로 하여금 시청 화면 영역의 설정을 지원하는 것이며, 상기 시청 화면 영역의 설정은 상기 사용자가 시청 화면 영역 설정을 위한 시청 영역 방향을 지정하거나 변경하는 것이며, 상기 시청 영역 방향의 지정이나 변경은 키보드 입력, 키패드 입력, 터치 입력, 음성 입력, 동작 입력 중 어느 하나 이상의 입력을 통해서 이루어 지는 것인 것이 바람직하다.
상기 시청 화면 영역 설정에서 변경이 있는 경우, 상기 복합 차원 콘텐츠 제공 시스템은 변경된 시청 화면 영역 설정 정보를 사용하여 상기 렌더링 처리된 이미지에서 사용자에게 보여지는 시청 화면 영역을 변경하는 것인 것이 바람직하다.
상기 시청 영역 방향이 변경되는 경우, 상기 복합 차원 콘텐츠 제공 시스템은 상기 렌더링 처리된 이미지에서 변경된 시청 영역 방향을 반영하여 사용자에게 보여지는 시청 화면 영역을 연속적으로 변경하는 것인 것이 바람직하다.
상기 경계 정보는 상기 복합 차원 콘텐츠를 구성하는 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 사용하는 것인 것이거나, 상기 차원 변환 처리를 수행하는 것은 상기 경계부를 기준으로 기 설정된 시간 구간 또는 기 설정된 프레임 구간을 대상으로 하여 페이드인 페이드 아웃 효과가 나도록 처리하는 것인 것이 바람직하다.
본 발명이 이루고자 하는 기술적 과제를 달성하기 위하여, 파일 헤더부;및 영상 데이터부;를 포함하며, 상기 영상 데이터부는 적어도 하나 이상의 2D 부분 영상부; 및 적어도 하나 이상의 3D 부분 영상부;를 포함하는 것이며, 상기 2D 부분 영상부와 상기 3D 부분 영상부는 적어도 1회 이상 교번하여 나타나는 것인 것을 특징으로 하는 복합 차원 콘텐츠 파일을 제시한다.
상기 파일 헤더부에는 재생 구간 속성 정보가 더 포함되어 있는 것인 것이 바람직하다.
상기 재생 구간 속성 정보는 상기 영상 데이터부 중에서 상기 2D 부분 영상부와 상기 3D 부분 영상부에 대응되는 영상 데이터에 대한 정보가 더 포함되어 있는 것인 것이 바람직하다.
재생 구간 속성 정보는 상기 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 입수하는 것이거나, 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시간 구간 대응 정보 또는 프레임 구간 대응 정보인 것이 바람직하다.
상기 2D 부분 영상부와 상기 3D 부분 영상부는 물리적인 경계의 구분 없이 연결되어 있는 것인 것이 바람직하다.
본 발명을 활용하면, 다음과 같은 효과가 있다.
첫째, 복합 차원 콘텐츠를 단일한 재생 수단으로 왜곡 없이 사용자에게 제공할 수 있다.
둘째, 3D 영상 중에서 사용자가 원하는 3D 부분 영상부의 특정 부분을 선택할 수 있게 할 수 있고, 선택된 3D 부분 영상을 사용자에게 제공할 수 있다.
셋째, 스포츠, 음악, 영화, 다큐멘터리, 교육, 광고 등 각종 콘텐츠에서 2D 영상부와 3D 영상부가 복합된 콘텐츠를 구성하여 제공하면, 사용자들에게 특별한 경험을 제공할 수 있을 것이다.
도 1은 본 발명의 복합 차원 콘텐츠 제공을 위한 시스템적 구성에 대한 일 실시예적 도면이다.
도 2는 본 발명의 복합 차원 콘텐츠 제공을 위한 다른 시스템적 구성에 대한 일 실시예적 도면이다.
도 3은 본 발명의 복합 차원 콘텐츠 제공 시스템의 일 실시예적 정보 처리 방법에 대한 일 실시예적 도면이다.
도 4는 본 발명의 복합 차원 콘텐츠 제공 시스템의 다른 일 실시예적 정보 처리 방법에 대한 일 실시예적 도면이다.
도 5는 본 발명의 복합 차원 콘텐츠 제공 시스템의 또 다른 일 실시예적 정보 처리 방법에 대한 일 실시예적 도면이다.
도 6은 본 발명의 복합 차원 콘텐츠 제공을 위한 또 다른 시스템적 구성에 대한 일 실시예적 도면이다.
도 7은 본 발명의 복합 차원 콘텐츠의 일 실시예적 구성에 대한 일 실시예적 도면이다.
도 8은 본 발명의 복합 차원 콘텐츠의 다른 일 실시예적 구성에 대한 일 실시예적 도면이다.
도 9는 3D 영상과 2D 영상에 대한 개괄적인 비교를 보여 주는 도면이다.
도 10은 3D 영상 선택에 관한 도면이다.
도 11은 2D 영상의 제공에서 검은색 테두리가 제거된 영상이 제공되는 도면이다.
이하, 도면을 참조하면서 더욱 더 상세하게 설명한다.
도 1 내지 도 2는 본 발명의 복합 차원 콘텐츠 제공을 위한 구성에 관한 실시예적 도면이다. 본 발명의 복합 차원 콘텐츠 제공 시스템(1000)이 포함되어 있는 적어도 하나 이상의 사용자 단말기(100)는 유무선 네트워크(500)를 통하여 적어도 하나 이상의 복합 차원 콘텐츠 제공 서버(200)에 연결되어 있다. 상기 복합 차원 콘텐츠 제공 시스템(1000)은 상기 복합 차원 콘텐츠 제공 서버(200)로부터 복합 차원 콘텐츠 파일을 다운로드 받거나, 상기 사용자 단말기(100)에 저장되어 있는 복합 차원 콘텐츠 파일을 대상으로 본 발명 사상을 실행하거나, 상기 복합 차원 콘텐츠 제공 서버(200)로부터 입수 받는 복합 차원 콘텐츠 영상 정보를 대상으로 본 발명 사상을 실행하는 복합 차원 콘텐츠 제공 엔진(1100)을 포함하고 있다.
상기 복합 차원 콘텐츠 제공 엔진(1100)은 본 발명의 복합 차원 콘텐츠를 재생하는 2D 재생부(1110), 상기 복합 차원 콘텐츠에 대하여 2D 부분 영상부와 3D 영상부에 대한 정보를 입수하는 재생 구간 속성 정보 입수부(1120), 상기 복합 차원 콘텐츠에 포함되어 있는 3D 부분 영상을 상기 2D 재생부(1110)가 재생했을 때 생성되는 왜곡 이미지를 입수하는 왜곡 이미지 입수부(1130), 상기 왜곡 이미지를 렌더링 처리하는 렌더링부(1140)를 포함하고 있다. 한편, 상기 복합 차원 콘텐츠 제공 엔진(1100)은 상기 2D 재생부(1110)가 재생하는 영상과 상기 복합 차원 콘텐츠에 포함되어 있는 사운드 정보가 씽크를 맞춰서 사용자 단말기 출력 장치(2000)에서 출력되도록 제어하는 씽크 처리부(1150)를 더 포함하고 있을 수 있다. 그리고, 상기 복합 차원 콘텐츠 제공 엔진(1100)은 상기 복합 차원 콘텐츠에서 2D 부분 영상부와 3D 부분 영상부가 서로에서 서로로 전환될 때 사용자의 디스플레이 장치(2100)에 제공되는 영상 품질을 제고시키는 차원 전환 처리부(1160)를 더 포함하고 있을 수 있다. 나아가 상기 복합 차원 콘텐츠 제공 엔진(1100)은 3D 부분 영상부에서 사용자가 시청하기를 원하는 시청 화면 영역(620)의 설정과 변경을 지원하는 시청 화면 영역 선택 지원부(1170)를 더 포함하고 있을 수 있다.
상기 복합 차원 콘텐츠 제공 시스템(1000)이 처리하는 영상 정보는 크게 2가지 형태가 있을 수 있다. 첫번째 형태는 상기 복합 차원 콘텐츠 제공 서버(200)가 스트리밍 또는 프로그레시브 다운로드 방식 등으로 상기 사용자 단말기(100)에 전송되는 복합 차원 콘텐츠 영상 정보의 형태이며, 두번째 형태는 복합 차원 콘텐츠가 저장되어 있는 복합 차원 콘텐츠 파일 형태가 될 수 있다. 도 1은 상기 사용자 단말기(100)의 복합 차원 콘텐츠 영상 정보 입수부(1200)가 상기 복합 차원 콘텐츠 제공 서버(200)의 복합 차원 콘텐츠 영상 정보 전송부(220)로부터 복합 차원 콘텐츠 영상 정보를 전송받는 방식으로 입수하는 복합 차원 콘텐츠 영상 정보를 상기 복합 차원 콘텐츠 제공 엔진(1100)이 처리하는 방식에 대한 일 실시예적 도면이다. 도 2는 상기 사용자 단말기(100)의 복합 차원 콘텐츠 파일 입수부가 상기 복합 차원 콘텐츠 제공 서버(200)의 복합 차원 콘텐츠 파일 전송부로부터 복합 차원 콘텐츠 파일을 전송 받고, 상기 복합 차원 콘텐츠 파일을 상기 복합 차원 콘텐츠 제공 엔진(1100)이 처리하는 방식에 대한 일 실시예적 도면이다. 물론, 상기 사용자 단말기(100)에는 도 1 및 도 2의 기능 모두가 포함되어 있을 수 있으며, 상기 복합 차원 콘텐츠 제공 서버(200)도 도 1 및 도2의 기능 모두를 포함할 수 있다. 상기 사용자 단말기(100)는 어떤 복합 차원 콘텐츠 제공 서버(200)로부터는 복합 차원 콘텐츠 영상 정보를 입수 받고, 다른 복합 차원 콘텐츠 제공 서버(200)로부터는 복합 차원 콘텐츠 파일을 입수 받을 수 있으며, USB나 첨부 파일 등 임의의 방식으로 적어도 하나 이상의 복합 차원 콘텐츠 파일이 상기 사용자 단말기(100)에 저장되게 할 수 있다. 한편, 동일한 복합 차원 콘텐츠 제공 서버(200)가 복합 차원 콘텐츠 영상 정보를 사용자 단말기(100)에 전송할 수도 있지만, 동시에 복합 차원 콘텐츠 파일을 사용자 단말기(100)에 전송할 수도 있을 것이다. 따라서, 도시하지는 않았지만, 도 1 및 도 2의 발명 사상이 결합된 하이브리드 형태가 구성될 수 있음은 당업자에게 자명할 것이다.
본 발명의 복합 차원 콘텐츠 파일은 특별한 방식으로 구성되어 있다. 도 7 내지 도 8은 본 발명의 복합 차원 콘텐츠 파일의 구성 형태의 일 실시예적 구성을 나타낸다.
복합 차원 콘텐츠 파일은 복합 차원 콘텐츠 헤드부와 복합 차원 콘텐츠 데이터부를 포함하여 구성된다. 도 7에서는 통상적인 파일 헤드부가 도시되어 있으며, 도 8에서는 본 발명의 특유한 복합 차원 콘텐츠 헤드부가 도시되어 있다. 도 8의 복합 차원 콘텐츠 헤드부에는 통상적인 파일 헤드부와 본 발명의 복합 차원 콘텐츠 재생 구간 정보를 포함하고 있는 복합 차원 콘텐츠 재생 구간 정보 헤드부를 더 포함하고 있다. 도 7과 도 8에서 알 수 있듯이, 본 발명의 복합 차원 콘텐츠 데이터부는 2D 데이터부와 3D 데이터부가 각각 하나 이상씩을 포함하고 있는 것을 특징으로 한다. 상기 도 7 및 도 8에서 예시되는 복합 차원 콘텐츠는 3개의 2D 데이터부와 2개의 3D 데이터부를 포함하는 것이 예시되어 있다. 상기 2D 데이부의 영상 정보는 재생 대상의 관점에서 2D 부분 영상부에 대응 되며, 상기 3D 데이터부의 영상 정보는 3D 부분 영상부에 대응된다. 도 7 및 도 8에서는 복합 차원 콘텐츠 데이터부가 2D 부분 영상부부터 시작되는 것으로 나오고, 2D 부분 영상부로 마치는 것으로 나와 있지만, 3D 부분 영상부부터 시작될 수도 있으며, 3D 부분 영상부로 마칠 수도 있음은 당업자에게 자명할 것이다. 한편, 2D 부분 영상부와 3D 부분 영상부 사이에는 상기 2D 부분 영상부와 3D 부분 영상부의 경계가 되는 경계부가 포함되어 있다. 상기 경계부는 물리적 실체라기 보다는 2D 부분 영상부에서 3D 부분 영상부로 넘어가거나, 3D 부분 영상부에서 2D 부분 영상부로 넘어가는 경계로, 개념적 대상으로 파악되는 것이 바람직할 것이다.
본 발명의 복합 차원 콘텐츠 데이터부는 2D 부분 영상부와 3D 부분 영상부가 교대되는 것이 특징인데, 상기 2D 부분 영상부와 상기 쓰리 부분 영상부는 영상부의 재생의 관점에서 시간 구간 또는 프레임 구간과 대응되게 된다.
하기 표 1은 이러한 부분 영상부와 시간 구간 또는 프레임 구간 간의 대응 정보를 설명하고 있다.
도면 부호 대응 시간 구간 대응 프레임 번호 구간
410a T1~T2 Frame Number_a ~ Frame Number_b
420a T2~T3 Frame Number_b+1 ~ Frame Number_c
410b T3~T4 Frame Number_c+1 ~ Frame Number_d
420b T4~T5 Frame Number_d+1 ~ Frame Number_e
410c T5~T6 Frame Number_d+1 ~ Frame Number_f
상기 표 1의 대응 프레임 번호 구간에서 _a, _b, _c, -d, _e 등은 프레임 번호를 표시하는 것이다.
도면 부호 410a에 대응되는 2D 부분 영상부는 재생 시간을 기준으로는 T1~T2사이에 대응되며, 영상의 프레임 번호 구간 기준으로는 Frame Number_a~Frame Number_b에 대응된다. 통상적으로 T1, T2 등의 시간은 초 단위 또는 초 단위보다 세분화된 시간 단위가 되는 것이 일반적이다. 영상 재생에 있어서 통상적으로 정상적인 영상 재생 속도에서 재생 시간 1초는 28 프레임 또는 32 프레임의 화면에 대응되나, 경우에 따라 이보다 많은 프레임 또는 적은 프레임의 화면이 대응될 수도 있다. 최초의 3D 부분 영상부인 도면 번호 420a에 대응되는 프레임 번호(Frame Number)의 시작은 Frame Number_b+1으로 표시했다. Frame Number_b+1은 직전 2D 부분 영상부의 마지막 프레임 번호 Frame Number_b보다 1 프레임 큰 것이다. 물론, 최초의 3D 부분 영상부인 도면 번호 420a에 대응되는 T2도 직전 2D 부분 영상부의 마지막의 시간 T2보다 최소 시간 표시 단위보다 1이 큰 것으로 표시하는 것이 타당하나, 최초의 3D 부분 영상부에 대응되는 시간 구간을 통상적으로 T2~T3로 표시해도 시간 구간의 변동의 표시에서 당업자가 본 발명 사상의 취지를 이해하기에는 충분할 것이다. 상기 T1 등이나, Frame Number_a 등은 2D 부분 영상부의 시작 위치 정보가 될 수 있으며, T2나, Frame Number_b+1 등은 3D 부분 영상부의 시작 위치 정보가 될 수 있다.
상기 표 1과 같은 복합 차원 콘텐츠 재생 구간 정보(어느 시간 구간 또는 어느 프레임 번호 구간에서 2D 부분 영상부나 3D 부분 영상부가 대응된다는 정보)는 도 8과 같이 본 발명의 복합 차원 콘텐츠 재생 구간 정보 헤드부에 포함되어 있을 수 있다. 이 경우, 상기 재생 수단은 이러한 복합 차원 콘텐츠 재생 구간 정보를 활용하여, 현재 재생 중인 영상이 2D 영상인지 3D 영상인지를 구별할 수 있게 된다.
상기 복합 차원 콘텐츠 재생 구간 정보가 복합 차원 콘텐츠 재생 구간 정보 헤드부에 존재하는 것과는 독립적으로, 상기 복합 차원 콘텐츠 재생 구간 정보는 상기 복합 차원 콘텐츠 재생 구간 정보 헤드부의 외부에 존재할 수 있다. 도 1에서와 같이 상기 재생 구간 속성 정보 입수부(1120)가 상기 복합 차원 콘텐츠 제공 서버(200)의 복합 차원 콘텐츠 영상 정보 전송부(220)를 통하여 복합 차원 콘텐츠 영상 정보를 전송 받을 때, 상기 복합 차원 콘텐츠 제공 서버(200)로부터 상기 복합 차원 콘텐츠에 대한 복합 차원 콘텐츠 재생 구간 정보를 독립적으로 또는 상기 복합 차원 콘텐츠 영상 정보의 전송 시에 전송 받을 수 있다. 전송 받은 복합 차원 콘텐츠 재생 구간 정보를 촬영하여, 상기 복합 차원 콘텐츠 제공 엔진(1100)의 왜곡 이미지 입수부(1130)는 2D 재생 수단을 통하여 3D 부분 영상부가 재생될 때 생성되는 왜곡 이미지를 입수하여 상기 렌더링부(1140)가 렌더링 처리를 할 수 있도록 지원한다. 한편, 도 2에서 예시되는 바와 같이, 상기 복합 차원 콘텐츠 파일이 입수될 때, 상기 복합 차원 콘텐츠 파일과 독립적으로 상기 복합 차원 콘텐츠 재생 구간 정보도 입수될 수 있을 것이다. 통상적으로 영상 파일이 있는 경우, 영상 파일의 자막 정보가 smi 파일 형태로 제공되듯이, 상기 복합 차원 콘텐츠 재생 구간 정보도 이러한 독립적인 파일 형태로 제공될 수 있으며, 상기 재생 구간 속성 정보 입수부(1120)는 이러한 복합 차원 콘텐츠 재생 구간 정보가 포함되어 있는 재생 구간 속성 정보 파일을 입수하여 본 발명 사상의 실행에 사용할 수 있을 것이다. 복합 차원 콘텐츠 재생 구간 정보는 도 2에서와 같이 개별적인 복합 차원 콘텐츠가 저장되어 있는 복합 차원 콘텐츠 파일부(1300)에 저장되어 있을 수 있을 것이다.
상기 복합 차원 콘텐츠 재생 구간 정보가 포함되어 있는 파일에는 표 1과 같은 정보(대응 프레임 번호 구간 정보가 포함되는 것이 더 타당할 것이다.)가 포함되어 있을 것이다. 하기는 이러한 파일의 내용의 정보는 다음과 같은 것이 될 수 있을 것이다.
<Start Frame Number_a>
2D
<End Frame Number_b>
<Start Frame Number_b+1 >
3D
<End Frame Number_c>
<Start Frame Number_c+1 >
2D
<End Frame Number_d>
<Start Frame Number_d+1 >
3D
<End Frame Number_e>
<Start Frame Number_d+1 >
2D
<End Frame Number_f>
Start Frame Number는 시작하는 Frame Number이며, End Frame Number는 종료되는 Frame Number가 될 것이다.
구간을 탐지하기 위해서는 영상에 2D 부분 영상부와 3D 부분 영상부가 각각 시간(초 또는 초 이하)단위 또는 프레임 단위로 어디부터 어디까지 얼마나 재생되는지 설정되어야 한다. 이러한 정보는 복합 차원 콘텐츠와 관계되는 복합 차원 콘텐츠 재생 구간 정보에 저장되며, 저장 되는 형식은 xml 파일 형식이 될 수도 있다. 한편, 재생 수단 내에서 예시적으로 GTweenTimeline라는 오브젝트가 영상의 재생부터 종료 사이에 타임 라인을 설정하여 실제 영상이 스트리밍 되어 재생되는 경우, 복합 차원 콘텐츠 제공 서버(200)로 부터 영상의 메타 정보를 실시간으로 기 설정된 초 단위 또는 초 이하 단위로 취득하여 현재 진행되는 시간을 판단하고, 복합 차원 콘텐츠 재생 구간 정보가 포함된 xml 파일에 설정된 2D 부분 영상부와 3D 부분 영상부의 재생 구간/재생 시간 구간 과 일치하는 시간/프레임 번호가 되는 지를 판단할 수도 있다.
이어, 도면을 참조하면서 본 발명 사상을 더욱 더 상세하게 설명한다. 도 3은 본 발명의 복합 차원 콘텐츠 제공 시스템(1000)의 일 실시예적 정보 처리 방법을 도시하고 있다. 상기 복합 차원 콘텐츠 제공 시스템(1000)은 2D 부분 영상부를 2D 재생 수단으로 재생(S11)하고, 쓰리 부분 영상부의 시작을 인지(S12)하고, 쓰리 부분 영상부를 2D 재생 수단으로 재생(S13)하며, 재생되는 비트맵 이미지를 프레임 단위로 입수(S14)하고, 입수된 비트맵 이미지를 3D 엔진으로 렌더링(S15)하고, 렌더링 된 이미지를 프레임 별로 출력(S16)하고, 출력된 렌더링 이미지를 음성과 싱크시켜 제공(S17)한다.
본 발명의 복합 차원 콘텐츠 제공 시스템(1000)은 2D 부분 영상부든 3D 부분 영상부든 하나의 2D 재생 수단으로 재생하는 것을 특징으로 한다. 3D 부분 영상부를 동일한 2D 재생 수단으로 재생하면 왜곡된 이미지가 생성되게 된다.
상기 재생 구간 속성 정보 입수부(1120)가 특정 시점에서 재생되고 있는 부분 영상부가 3D 부분 영상부라는 사실을 입수하고 있는 경우, 상기 복합 차원 콘텐츠 제공 엔진(1100)은 재생 되는 3D 부분 영상부를 곧바로 사용자 단말기 출력 장치(2000)로 보내지 않는다. 상기 왜곡 이미지 입수부(1130)는 2D 재생부(1110)를 통해서 재생되는 3D 부분 영상부의 재생 결과인 왜곡 비트맵 이미지를 입수한다.
상기 렌더링부(1140)의 상기 렌더링 처리부(1142)는 렌더링 대상 이미지 입수부(1141)가 입수한 렌더링 대상 이미지인 입수된 왜곡 비트맵 이미지를 대상으로 렌더링 처리는 수행한다. 왜곡 비트맵 이미지의 입수는 프레임 단위로 이루어지며, 렌더링도 프레임 단위의 비트맵 이미지를 대상으로 이루어 진다.
렌더링 처리는 구 타입과 큐브 타입의 2가지가 있을 수 있다. 먼저 sphere type(원/구 타입)으로 화면을 렌더링 하는 방법이다. 이 방법은 구에 렌더링을 하기 때문에 좀더 세밀한 화면을 볼 수 있다. 하지만 구 타입이라서 직선이 많은 컨텐츠를 표현 시 선 부분이 쭈글쭈글 해지는 경우도 있다. 다음은 cube type으로, 정육각형으로 6면에 texture의 Bitmap 데이터를 렌더링 하는 방법이다. 이 방법은 수평과 수직이 많은 동영상인 경우 선이 sphere type보다 직선이 일직선으로 표현이 가능하다. 하지만, 촬영 방식이 한번의 촬영에서 결과물을 얻어 되는 방식으로는 작업이 불가능하며, 각 면을 별도로 촬영되어 렌더링 되는 방식이다.
예를 들면, papervision3d라는 프로그램을 사용하면, 비트맵 데이터로 캡쳐 한 데이터를 Sphere 오브젝트가 Sphere타입으로 렌더링 되도록 캡쳐 한 프레임 단위의 비트맵 데이터를 변환해 줄 수 있다. 이 때, 변환된 데이터가 30 프레임 미만이 되면, 실제 papervision3d에서 렌더링 엔진인 QuadrantRenderEngine 오브젝트가 프레임 별로 화면을 sphere타입으로 3D 렌더링을 시작한다. 렌더링 된 이미지는 렌더링 이미지 제공부(1143)를 통하여 렌더링부(1140)의 외부에 제공된다.
본 발명의 씽크 처리부(1150)는 상기 2D 재생 수단이 재생하는 소리 정보와 렌더링 처리된 이미지를 씽크하여 소리 정보와 이미지 정보가 함께 제공될 수 있도록 제어한다. 왜곡 이미지의 발생이나 렌더링 처리와는 독립적으로 백그라운드에서는 상기 2D 재생 수단에 의해 2D 부분 영상부나 3D 부분 영상부의 재생이 꾸준하게 이루어지고 있다. 이때, 2D 재생 수단에 의해 재생되는 왜곡 이미지는 렌더링 처리가 따르게 되므로, 통상적인 2D 재생 수단에 의한 2D 부분 영상부의 재생 이미지의 제공보다는 시간이 더 걸리게 된다. 따라서, 2D 재생 수단이 3D 부분 영상부의 재생 시의 음성이나 소리 등과 상기 렌더링 처리된 영상의 제공에는 씽크의 필요성이 있게 된다. 렌더링 처리된 영상과 2D 재생 수단에 의해서 3D 부분 영상이 재생되면서 생성되는 소리(음성 등) 정보의 구체적인 씽크 방법은 당업자에게 자명한 것이므로, 상세한 설명은 생략한다.
이어, 도 4를 참조하면서 본 발명의 차원 전환 처리부(1160)에 대해서 설명한다.
2D 부분 영상과 3D 부분 영상은 디스플레이 될 때 사용자의 디스플레이 화면에서 이 변환 사이에 여러 가지 원인(특히 재생되는 컴퓨터의 사양)등으로 인해 중간에 화면이 깨지는 듯한 현상이 나오는 등과 같이 사용자에게 불편한 상황이 발생할 수 있다. 이에, 2D 영상에서 3D 영상으로의 화면의 전환 시 등에서 사용자에게 불편을 주지 않는 전환이나 스위칭이 필요하게 된다.
상기 차원 변환 처리부는 2D 부분 영상부와 상기 3D 영상부의 경계 정보를 입수(S21)하고, 입수된 경계 정보에 기초하여, 상기 2D 부분 영상부와 상기 3D 부분 영상부의 경계부로부터 기 설정된 경계 범위에서 차원 변환 처리를 수행한다.(S22) 상기 차원 전환 처리부(1160)는 상기 2D 부분 영상부와 상기 3D 영상부의 경계 정보를 입수하고, 입수된 경계 정보에 기초하여, 상기 2D 부분 영상부와 상기 3D 부분 영상부의 경계부로부터 기 설정된 경계 범위에서 차원 변환 처리를 수행한다. 상기 차원 전환 처리부(1160)의 경계 정보 입수부(1161)는 경계부에 대한 정보를 입수하고, 경계부의 근방에서 차원 변환 처리를 수행한다.
2D 부분 영상부와 3D 부분 영상부의 재생 시 경계 부분에서 실제 일어나는 사항은 sphere 오브젝트와 plane 오브젝트 간의 변환이다. 이 때, 변환되는 사이에 페이드 인아웃(fade in/out)을 처리하는 로직을 넣어 주면 자연스러운 화면 전환이 가능하게 된다. 이와 같이, 차원 변환 처리부는 2D 부분 영상에서 3D 부분 영상으로 변경되는 순간/경계부 또는 3D 부분 영상에서 2D 부분 영상으로 변경되는 순간/경계부에서 페이드 인아웃 효과를 내는 오브젝트를 이는 경계부 근방 또는 경계부의 앞뒤의 기 설정된 시간/프레임 만큼 추가하거나 교체해 줌으로서 변경 시에 화면이 깨지는 부분을 보지 못하도록 할 수 있다.
이어, 도 5내지 도 6을 참조하면서, 본 발명의 시청 화면 영역 선택 지원부(1170)에 대해서 설명한다.
상기 복합 차원 콘텐츠 제공 엔진(1100)은 상기 렌더링 처리된 이미지의 기 설정된 적어도 일 영역이 사용자에게 보여지는 시청 화면 영역(620)으로 제공되게 할 수 있다. 이러한 시청 화면 영역(620)의 설정은 상기 사용자가 설정하는 것인 것이며, 상기 시청 화면 영역(620)의 설정은 상기 사용자가 상기 복합 차원 콘텐츠의 재생 중에 변경할 수 있는 것인 것이 바람직하다. 물론, 이러한 시청 화면 영역(620)의 설정에 관한 정보는 상기 복합 차원 콘텐츠의 헤더 정보에 저장되어 있거나, 상기 복합 차원 콘텐츠를 제공하는 복합 차원 콘텐츠 제공 서버(200)로부터 전송받는 것이거나, 상기 복합 차원 콘텐츠 제공 시스템(1000)에서 설정되거나 기 설정된 시청 화면 영역 설정 규칙에 따라 변경되는 것일 수도 있다.
도 5은 사용자가 아닌 외부에서 시청 화면 영역(620)이 설정되는 방식에 대한 예시적인 구성이다. 상기 시청 화면 영역 선택 지원부(1170)는 사용자에게 보여지는 시청 화면 영역(620)의 설정을 위한 정보 입수(S31)하고, 입수된 시청 화면 영역(620) 설정 정보를 사용하여 시청 화면 영역(620)에 대응하는 3D 부분 영상 정보 입수(S32)한다.
도 6에서는 상기 시청 화면 영역 선택 지원부(1170)의 정보 처리 방법에 대한 일 실시예적 구성이 나타나 있다. 상기 시청 화면 영역 선택 지원부(1170)는 사용자로부터 사용자가 시청하기를 원하는 3D 부분 영상부에 대한 선택 정보를 입수(S41)하고, 선택 정보를 입수 받은 3D 부분 영상부를 입수(S42)한다.
3D 부분 영상부가 재생되는 동안에 시청 화면 영역(620) 설정을 통해 사용자는 자신이 원하는 방향의 3D 영상을 시청할 수 있다. 상기 시청 화면 영역(620)의 설정은 상기 사용자가 시청 화면 영역(620) 설정을 위한 시청 영역 방향을 지정하거나 변경하는 것이며, 상기 시청 영역 방향의 지정이나 변경은 키보드 입력, 키패드 입력, 터치 입력, 음성 입력, 동작 입력 중 어느 하나 이상의 입력을 통해서 이루어 지는 것인 것이 바람직하다. 이러한 입력을 통하여 상기 시청 화면 영역(620) 설정에서 변경이 있는 경우, 상기 복합 차원 콘텐츠 제공 시스템(1000)은 변경된 시청 화면 영역 설정 정보를 사용하여 상기 렌더링 처리된 이미지에서 사용자에게 보여지는 시청 화면 영역(620)을 변경하는 것인 것이 바람직하다. 예를 들면, 상기 도 10에서 시청 화면 영역(620)을 왼쪽 방향으로 지정하면(사용자 단말기(100)에 나타나는 선택 3D 영상(630) 화면에서 손가락 등으로 오른쪽에서 왼쪽으로 화면을 미는 등과 같은 행위를 하여), 강아지를 안고 있는 성인과 어린이가 나오는 현재 화면(630에 나오는 영상)에서 상기 3D 영상(610)에서 현재의 시청 화면 영역(620)의 왼쪽에 있는 영상들(예를 들면, 어른이 유모차를 끌고 가는 쪽에 있는 영상)이 나타나게 제어될 수 있다.
본 발명 사상을 활용하면, 특히, 3D 부분 영상부가 다수개의 카메라 렌즈로부터 입수되는 영상이 하나의 화면에 결합되어 나타나는 방식으로 구성되어 있는 경우, 사용자가 시청 화면 영역(620)의 변경을 위하여, 방향을 이동하는 경우, 이동된 방향에 대응되는 영상이 제공될 수 있다. 즉, 1개의 카메라에 상하좌우앞뒤 중 어느 2개 이상의 방향에 대응되는 영상을 입수하는 다수 개의 렌즈가 있고, 이러한 렌즈에서 입수되는 각각의 영상이 결합되어 1개의 3D 영상이 될 수 있다. 그리고, 영상의 결합 시 특정 렌즈를 통하여 입수되는 영상은 3D 영상의 특정한 위치 또는 영역에 배치될 수 있도록 제어되거나 편집될 수 있다. 이러한 경우, 현재 사용자가 보고 있는 화면에서 왼쪽 버튼을 누르거나, 왼쪽 방향으로 터치가 있는 경우, 현재 보고 있는 영상의 좌측에 있는 영상을 새로운 시청 화면 영역으로 되어 사용자에게 제공될 수 있다. 이는 똑바로 보고 있던 사람이 왼쪽으로 머리를 돌려 왼쪽 방향을 쳐다볼 때, 왼쪽 방향에 있는 광경이 사람의 눈에 들어오는 것과 유사하다. 이때, 상기 시청 영역 방향이 변경되는 경우, 상기 복합 차원 콘텐츠 제공 시스템(1000)은 상기 렌더링 처리된 이미지에서 변경된 시청 영역 방향을 반영하여 사용자에게 보여지는 시청 화면 영역을 연속적으로 변경하는 것인 것이 바람직하다.
본 발명의 3D 영상의 한 예는 파노라마 영상일 수 있다. 상기 파노라마 영상은 1개의 카메라에 상하좌우앞뒤 중 어느 2개 이상의 방향에 대응되는 영상을 입수하는 다수 개의 렌즈가 있고, 이러한 렌즈에서 입수되는 각각의 영상이 결합되거나, 복수 개의 카메라를 사용하여, 각 카메라에서 입수되는 영상을 결합하여 1개의 파노라마 영상이 될 수 있다. 이 경우, 상기 3D 부분 영상부는 파노라마 부분 영상부가 될 수 있다.
도 10에서는 상기와 같은 시청 화면 영역(620)의 선택에 관한 본 발명 사상에 대한 개념도가 제시되어 있다. 도 10에서 알 수 있듯이, 사용자가 시청하는 3D 부분 영상부는 실제 재생되고 있는 3D 부분 영상부의 일부가 된다. 도 10에서는 실제 재생되고 있는 3D 부분 영상부인 3D 영상(610) 중에서 박스인 시청 화면 영역(620) 내에 있는 선택된 영상이 사용자에게 제공되는 선택 3D 영상(630)이 제시되는 본 발명 사상의 개념을 보여 주고 있다. 이때, 사용자가 자신이 보고 있는 화면에서 시청 방향을 변경하고 싶은 경우, 변경 방향을 설정하면, 변경된 방향 쪽에 있는 기 설정된 사이즈(예, 가로 n * 세로 m 사이즈)의 대응되는 다른 이미지가 사용자에게 제공된다.
이때, 상기 렌더링부(1140)의 렌더링의 대상이 되는 것은 상기 3D 부분 영상부 전체에 대한 재생 결과가 될 수도 있지만, 상기 사용자에게 제공되는 시청 화면 영역(620)에 대한 것만이 렌더링 될 수도 있을 것이다. 전자의 경우, 상기 시청 화면 영역 선택 지원부(1170)에서 시청 화면 영역(620) 선택 결과는 렌더링 된 영상 이미지에서 작용(선택된 시청 화면 영역을 가져옴)하지만, 후자의 경우에는 렌더링 될 대상 이미지인 왜곡 이미지에 작용할 수 있다.
이어, 도 9과 도 11을 참조하면서 본 발명의 여백 처리부(1180)에 대해서 설명한다. 도 9는 본 발명의 3D 영상과 2D 영상의 일 실시예적 비교예를 보여 주고 있다. 도 9 및 도11 에서 알 수 있듯이, 2D에서는 2D 영상(660)의 외곽에 검은색으로 된 테두리부(650)가 있음을 확인할 수 있다.상기 복합 차원 콘텐츠 제공 시스템(1000)의 여백 처리부(1180)는 2D 부분 영상부가 재생될 때, 상기 2D 부분 영상부의 여백을 제거하고, 실제 영상 이미지만을 사용자에게 제공할 수 있다. 2D 영상이나 3D 영상은 그 제작 방식은 다를 수 있으나 두 영상은 모두 2400x1200 pixel 의 일반 2D 영상의 형태로 하나의 단일 파일로서 구성되는 경우가 있다. (도 9에서 예시되듯이 3D 영상(610)과 2D 영상(660)의 테두리부(650)을 포함한 외곽을 기준으로 볼 때는 동일한 픽셀 수를 가지고 있음을 볼 수 있다.) 이때, 단일 파일은 같은 해상도로 제작되기 때문에 2D 영상의 FullHD 해상도에도 상하 60pixel, 좌우 240pixel 씩 여백을 남기고 제작되는 경우가 발생한다. 2D 부분 이미지의 영상에는 2400x1200 크기에, 중심부가 재생되는 1920x1080 만큼을 제외하고 액자형 검은색 테두리부(650)가 존재하게 되기 때문이다. 이 검은색 테두리는 복합 차원 콘텐츠 영상에서 2D 부분 영상부에는 항상 존재하게 되므로, 상기 복합 차원 콘텐츠 제공 시스템(1000)은 이 부분의 검정색을 감지하여 자동으로 동영상 헤더에 메타 데이터로 기록하거나, 표 1과 같은 타임 테이블 값을 기록하도록 정보 처리할 수 있다. 그 결과 상기 복합 차원 콘텐츠의 재생에서 이 타임 테이블 값을 읽어 들여 이 것을 기준으로 영상 전환이 쉽게 가능하게 할 수도 있다.
본 발명의 여백 처리부(1180)의 정보 처리를 예를 들어 설명하면 다음과 같을 수 있다. 2D 부분 영상부가 재생될 때, papervision3d 라이브러리 중 CameraObject3D라는 클래스(이 클래스는 3D 오브젝트를 재생할 때 zoom, focus등을 지정하는 부분)를 통해 영상의 실제 크기를 조절 할 수 있다. 이 때, 2D 부분 영상부의 재생 구간에서는 2D 부분 영상부의 재생이 시작될 때, camera.z(줌을 설정하는 함수) = -200 등으로 설정해 주면, 영상이 줌인(Zoom in)되어 상기 여백(검은 색 테두리)가 사용자에게 나타나지 않게 제어될 수 있다. 도 11은 본 발명의 여백 처리부(1180)의 정보 처리 대상(660 및 650)과 여백 처리가 된 후의 결과 영상(670)를 대비하여 보여 주고 있다.
상기 복합 차원 콘텐츠 제공 서버(200)에서 상기 복합 차원 콘텐츠 제공 시스템(1000)이 포함되어 있는 사용자 단말기(100)로 영상 정보의 전달 방식은 여러 가지 방식이 활용될 수 있다. 전달 되는 통신 프로토콜은 HTTP 또는 RTMP 중 어느 하나의 프로토콜을 사용하는 것이 바람직할 것이다. 그리고, 상기 복합 차원 콘텐츠가 사용자 단말기(100)에 제공되는 방법은 상기 복합 차원 콘텐츠 제공 서버(200)로부터 상기 사용자 단말기(100)에 프로그레시브 다운로드(progressive download) 방식 또는 라이브 스트리밍(live streaming) 방식으로 상기 콘 영상 정보가 전송되는 것이 바람직할 것이다.
http 프로토콜을 사용하는 프로그레시브 다운로드(progressive download)은 방식은 인터넷 웹 브라우저에서 사용하는 기본 프로토콜로 80포트를 사용하며, 서비스 영상을 다운로드 하면서 일정 수준의 버퍼링을 두고 영상을 재생을 시키는 방법이다.
rtmp 프로토콜은 live streaming 영상 전송 시 사용하는 프로토콜로 1935포트를 사용하며, 실시간으로 보내주는 헤더 메타값에 의해 사용자가 지정한 시점에서 설정된 post 버퍼링을 두고 재생 시키는 방법이다. 기본적으로 실시간으로 영상의 헤더 값을 받아올 수 있는 rtmp (live streaming) 방식이 더욱 바람직할 것이다.
표 2는 프로그레시브 다운로드 방식과 라이브 스트리밍 방식의 특성을 비교한 것이다.
Figure pat00001
본 발명은 스포츠, 음악, 영화, 다큐멘터리, 교육, 광고 등 각종 컨텐츠 관련 사업 및 영상 관련 산업에 광범위하게 활용될 수 있다.
100 : 사용자 단말기
200 : 복합 차원 콘텐츠 제공 서버
210 : 복합 차원 콘텐츠 파일 관리부
220 : 복합 차원 콘텐츠 영상 정보 전송부
221 : 복합 차원 콘텐츠 스트리밍 제공부
222 : 복합 차원 콘텐츠 프로그레시브 다운로드 제공부
310 : 복합 차원 콘텐츠 헤더부
310a : 통상적인 파일 헤드부
310b : 복합 차원 콘텐츠 재생 구간 정보 헤드부
320 : 복합 차원 콘텐츠 데이터부
410 : 2D 부분 영상부
410a, 410b, 410c : 개별적인 2D 부분 영상부
420 : 3D 부분 영상부
420a, 420b, 420c : 개별적인 3D 부분 영상부
430 : 경계부
430a, 430b, 430c, 430d : 개별적인 경계부
610 : 3D 영상
620 : 시청 화면 영역
630 : 선택 3D 영상
650 : 테두리부
660 : 2D 영상
670 : 여백 처리가 된 후의 결과 영상
1000 : 복합 차원 콘텐츠 제공 시스템
1100 : 복합 차원 콘텐츠 제공 엔진
1110 : 2D 재생부
1120 : 재생 구간 속성 정보 입수부
1130 : 왜곡 이미지 입수부
1140 : 렌더링부
1142 : 렌더링 이미지 입수부
1141 : 렌더링 처리부
1143 : 렌더링 이미지 제공부
1150 : 씽크 처리부
1160 : 차원 전환 처리부
1161 : 경계 정보 입수부
1170 : 시청 화면 영역 선택 지원부
1171 : 시청 화면 영역 선택 입수부
1180 : 여백 처리부
1200 : 복합 차원 콘텐츠 영상 정보 입수부
1300 : 복합 차원 콘텐츠 파일부
1310 : 복합 차원 콘텐츠 파일
1320 : 복합 차원 콘텐츠 재생 구간 정보
2000 : 사용자 단말기 출력 장치
2100 : 디스플레이 장치
2200 : 사운드 출력 장치

Claims (40)

  1. 적어도 하나 이상의 2D 부분 영상부와 적어도 하나 이상의 3D 부분 영상부가 결합되어 있는 복합 차원 콘텐츠를 사용자에게 제공하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법에 있어서, 상기 복합 차원 콘텐츠 제공 시스템이
    (A) 2D 부분 영상부를 2D 재생 수단으로 재생하는 단계;
    (B) 3D 부분 영상부를 2D 재생 수단으로 재생하는 단계;
    (C) 상기 (B) 단계에서 재생되는 왜곡 재생 이미지를 입수하는 단계;
    (D) 상기 (C) 단계에서 입수한 상기 왜곡 재생 이미지를 3D 렌더링 엔진으로 렌더링 처리하는 단계;및
    (E) 상기 렌더링 처리된 이미지를 사용자에게 제공하는 단계;를 포함하는 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법.
  2. 제1항에 있어서,
    상기 복합 차원 콘텐츠 제공 시스템은 상기 복합 차원 콘텐츠를 구성하는 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 입수하고,
    상기 2D 부분 영상부의 시작 위치에서 상기 (A) 단계를 실시하고,
    상기 3D 부분 영상부의 시작 위치에서 상기 (B) 단계를 실시하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법.
  3. 제2항에 있어서,
    상기 시작 위치 정보나 구간 위치 정보는
    상기 복합 차원 콘텐츠의 외부에 저장되어 있는 것이거나,
    상기 복합 차원 콘텐츠 파일의 헤더에 포함되어 있는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법.
  4. 제3항에 있어서,
    상기 시작 위치 정보나 구간 위치 정보는 상기 복합 차원 콘텐츠의 관리 정보로 상기 복합 차원 콘텐츠가 저장되고 있는 저장 장치와 동일한 저장 장치 또는 저장 시스템에 되어 있는 것이거나,
    상기 복합 차원 콘텐츠를 재생하기 전에, 유무선 네트워크를 통하여 상기 시작 위치 정보를 제공하는 제3의 시스템으로부터 전송받는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법.
  5. 제2항에 있어서,
    상기 시작 위치 정보나 구간 위치 정보는
    시간 구간 단위 또는 시작 시각을 포함하여 구성되는 것이거나,
    프레임 번호 구간 단위 또는 시작 프레임 번호를 포함하여 구성되어 있는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법.
  6. 제1항에 있어서,
    (F) 상기 2D 부분 영상부와 상기 3D 영상부의 경계 정보를 입수하는 단계;및
    (G) 입수된 경계 정보에 기초하여, 상기 2D 부분 영상부와 상기 3D 부분 영상부의 경계부로부터 기 설정된 경계 범위에서 차원 변환 처리를 수행하는 단계;를 더 포함하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법.
  7. 제1항에 있어서,
    상기 (C) 단계는 비트맵 이미지로 프레임 단위로 입수하는 것인 것이며,
    상기 (D) 단계는 프레임 단위로 렌더링 처리하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법.
  8. 제1항에 있어서,
    상기 (D) 단계는
    구형(sphere) 유형으로 렌더링 처리하는 것이거나,
    큐브(cube) 유형으로 렌더링 처리하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법.
  9. 제1항에 있어서,
    상기 복합 차원 콘텐츠 제공 시스템은 사용자 단말기에서 구동되는 것이며,
    상기 (E) 단계는 상기 사용자 단말기에 포함되어 있거나, 상기 사용자 단말기와 유무선 네트워크로 연결된 적어도 하나 이상의 디스플레이 장치로 제공되는 것인 것이며,
    상기 복합 차원 콘텐츠는 상기 사용자 단말기에 저장되어 있는 것이거나,
    상기 사용자 단말기와 유무선 네트워크로 연결되는 적어도 하나 이상의 서버로부터 실시간으로 제공되는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법.
  10. 제9항에 있어서,
    상기 복합 차원 콘텐츠가 상기 사용자 단말기에 제공되는 방법은
    상기 서버로부터 상기 사용자 단말기에 HTTP 또는 RTMP 중 어느 하나의 프로토콜을 사용하여 복합 차원 콘텐츠 영상 정보를 전송되는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법.
  11. 제9항에 있어서,
    상기 복합 차원 콘텐츠가 상기 사용자 단말기에 제공되는 방법은
    상기 서버로부터 상기 사용자 단말기에 프로그레시브 다운로드 방식 또는 라이브 스트리밍 방식으로 상기 콘 영상 정보가 전송되는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법.
  12. 제1항에 있어서,
    상기 (E) 단계는 상기 2D 재생 수단이 재생하는 소리 정보와 상기 (D) 단계에서 렌더링 처리된 이미지를 씽크하여 소리 정보와 이미지 정보가 함께 제공되는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법.
  13. 제1항에 있어서,
    상기 (E) 단계는 상기 렌더링 처리된 이미지의 기 설정된 적어도 일 영역이 사용자에게 보여지는 시청 화면 영역으로 제공되는 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법.
  14. 제13항에 있어서,
    상기 시청 화면 영역의 설정에 관한 정보는 상기 복합 차원 콘텐츠의 헤더 정보에 저장되어 있거나, 상기 복합 차원 콘텐츠를 제공하는 서버로부터 전송받는 것이거나, 상기 복합 차원 콘텐츠 제공 시스템에서 설정되거나 기 설정된 시청 화면 영역 설정 규칙에 따라 변경되는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법.
  15. 제13항에 있어서,
    상기 시청 화면 영역의 설정은 상기 사용자가 설정하는 것인 것이며,
    상기 시청 화면 영역의 설정은 상기 사용자가 상기 복합 차원 콘텐츠의 재생 중에 변경할 수 있는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법.
  16. 제15항에 있어서,
    상기 시청 화면 영역의 설정은
    상기 사용자가 시청 화면 영역 설정을 위한 시청 영역 방향을 지정하거나 변경하는 것이며,
    상기 시청 영역 방향의 지정이나 변경은 키보드 입력, 키패드 입력, 터치 입력, 음성 입력, 동작 입력 중 어느 하나 이상의 입력을 통해서 이루어 지는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법.
  17. 제15항에 있어서,
    상기 시청 화면 영역 설정에서 변경이 있는 경우,
    상기 복합 차원 콘텐츠 제공 시스템은 변경된 시청 화면 영역 설정 정보를 사용하여 상기 렌더링 처리된 이미지에서 사용자에게 보여지는 시청 화면 영역을 변경하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법.
  18. 제16항에 있어서,
    상기 시청 영역 방향이 변경되는 경우,
    상기 복합 차원 콘텐츠 제공 시스템은 상기 렌더링 처리된 이미지에서 변경된 시청 영역 방향을 반영하여 사용자에게 보여지는 시청 화면 영역을 연속적으로 변경하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법.
  19. 제1항에 있어서,
    상기 복합 차원 콘텐츠 제공 시스템은
    상기 2D 부분 영상부의 재생 결과가 사용자에게 제공될 때, 상기 2D 부분 영상부의 기 설정된 여백 영역이 제외되고 사용자에게 제공되도록 제어하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법.
  20. 제6항에 있어서,
    상기 경계 정보는 상기 복합 차원 콘텐츠를 구성하는 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 사용하는 것인 것이거나,
    상기 차원 변환 처리를 수행하는 것은 상기 경계부를 기준으로 기 설정된 시간 구간 또는 기 설정된 프레임 구간을 대상으로 하여 페이드인 페이드 아웃 효과가 나도록 처리하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법.
  21. 적어도 하나 이상의 2D 부분 영상부와 적어도 하나 이상의 3D 부분 영상부가 결합되어 있는 복합 차원 콘텐츠를 사용자에게 제공하는 복합 차원 콘텐츠 제공 시스템에 있어서, 상기 복합 차원 콘텐츠 제공 시스템은
    2D 부분 영상부와 쓰리 부분 영상부를 재생하는 2D 재생부;
    재생 대상이 되는 부분 영상부가 2D 부분 영상부인지 쓰리 부분 영상부인지에 대한 재생 구간 속성 정보를 입수하는 재생 구간 속성 정보 입수부;및
    상기 2D 재생부가 3D 부분 영상부를 재생한 결과를 입수하는 왜곡 이미지 입수부;
    상기 왜곡 이미지 입수부가 입수하는 왜곡 이미지를 3D 렌더링 엔진으로 렌더링 처리하는 렌더링부;를 포함하는 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템.
  22. 제21항에 있어서,
    상기 재생 구간 속성 정보 입수부는
    상기 복합 차원 콘텐츠를 구성하는 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 입수하는 것이거나,
    상기 복합 차원 콘텐츠를 구성하는 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시간 구간 대응 정보 또는 프레임 구간 대응 정보를 입수하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템.
  23. 제22항에 있어서,
    상기 재생 구간 속성 정보 입수부는
    상기 시작 위치 정보나 상기 구간 위치 정보나 상기 시간 구간 대응 정보 또는 상기 프레임 구간 대응 정보를 상기 복합 차원 콘텐츠 파일의 헤드부에서 입수하거나,
    상기 복합 차원 콘텐츠 파일과는 독립적으로 외부에 존재하는 재생 구간 속성 정보 파일로부터 입수하는 것인 것이거나,
    상기 복합 차원 콘텐츠 영상 정보를 제공하는 복합 차원 콘텐츠 제공 서버로부터 입수하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템.
  24. 제22항에 있어서,
    상기 시작 위치 정보나 상기 구간 위치 정보나 상기 시간 구간 대응 정보 또는 상기 프레임 구간 대응 정보는
    시간 구간 단위 또는 시작 시각을 포함하여 구성되는 것이거나,
    프레임 번호 구간 단위 또는 시작 프레임 번호를 포함하여 구성되어 있는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템.
  25. 제21항에 있어서,
    상기 2D 부분 영상부와 상기 3D 영상부의 경계 정보를 입수하고, 입수된 경계 정보에 기초하여, 상기 2D 부분 영상부와 상기 3D 부분 영상부의 경계부로부터 기 설정된 경계 범위에서 차원 변환 처리를 수행하는 차원 전환 처리부;를 더 포함하는 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템.
  26. 제21항에 있어서,
    상기 왜곡 이미지는 프레임 단위의 비트맵 이미지인 것이며,
    상기 렌더링부가 렌더링 처리를 수행하는 단위는 프레임 단위로 처리하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템.
  27. 제26항에 있어서,
    상기 렌더링 처리부가 렌더링 처리를 수행하는 것은
    구형(sphere) 유형으로 렌더링 처리하는 것이거나, 큐브(cube) 유형으로 렌더링 처리하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템.
  28. 제21항에 있어서,
    상기 복합 차원 콘텐츠 제공 시스템은 사용자 단말기에서 구동되는 것이며,
    상기 사용자 단말기는 PC, 스마트폰, 태블릿 컴퓨터, 휴대용 컴퓨터, 게임기, 스마트 TV, 키오스크 단말기, 통신 가능하며 디스플레이 장치가 포함되어 있는 단말기, 외부로부터 복합 차원 콘텐츠 파일이 입수될 수 있고 디스플레이 장치가 내장되거나, 유무선 네트워크로 디스플레이 장치와 통신 가능한 단말기 중 어느 하나 이상인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템.
  29. 제28항에 있어서,
    상기 복합 차원 콘텐츠 제공 시스템이 구동되는 사용자 단말기는
    적어도 하나 이상의 복합 차원 콘텐츠 제공 서버로부터 HTTP 또는 RTMP 중 어느 하나의 프로토콜을 사용하여 복합 차원 콘텐츠 영상 정보를 전송받는 것인 것이거나,
    상기 복합 차원 콘텐츠 제공 서버로부터 프로그레시브 다운로드 방식 또는 라이브 스트리밍 방식으로 상기 콘 영상 정보가 전송받는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템.
  30. 제21항에 있어서,
    상기 2D 재생 수단이 재생하는 소리 정보와 렌더링 처리된 이미지를 씽크하는 씽크 처리부;를 더 포함하는 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템.
  31. 제21항에 있어서,
    상기 렌더링 처리된 이미지의 기 설정된 적어도 일 영역이 사용자에게 보여지는 시청 화면 영역으로 제공되는 것이 상기 사용자가 조절할 수 있도록 지원하는 시청 화면 영역 선택 지원부;를 포함하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템.
  32. 제31항에 있어서,
    상기 시청 화면 영역 선택 지원부는 상기 사용자로 하여금 시청 화면 영역의 설정을 지원하는 것이며,
    상기 시청 화면 영역의 설정은
    상기 사용자가 시청 화면 영역 설정을 위한 시청 영역 방향을 지정하거나 변경하는 것이며,
    상기 시청 영역 방향의 지정이나 변경은 키보드 입력, 키패드 입력, 터치 입력, 음성 입력, 동작 입력 중 어느 하나 이상의 입력을 통해서 이루어 지는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템.
  33. 제32항에 있어서,
    상기 시청 화면 영역 설정에서 변경이 있는 경우,
    상기 복합 차원 콘텐츠 제공 시스템은 변경된 시청 화면 영역 설정 정보를 사용하여 상기 렌더링 처리된 이미지에서 사용자에게 보여지는 시청 화면 영역을 변경하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템.
  34. 제33항에 있어서,
    상기 시청 영역 방향이 변경되는 경우,
    상기 복합 차원 콘텐츠 제공 시스템은 상기 렌더링 처리된 이미지에서 변경된 시청 영역 방향을 반영하여 사용자에게 보여지는 시청 화면 영역을 연속적으로 변경하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템.
  35. 제25항에 있어서,
    상기 경계 정보는 상기 복합 차원 콘텐츠를 구성하는 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 사용하는 것인 것이거나,
    상기 차원 변환 처리를 수행하는 것은 상기 경계부를 기준으로 기 설정된 시간 구간 또는 기 설정된 프레임 구간을 대상으로 하여 페이드인 페이드 아웃 효과가 나도록 처리하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템.
  36. 파일 헤더부;및
    영상 데이터부;를 포함하며,
    상기 영상 데이터부는
    적어도 하나 이상의 2D 부분 영상부; 및
    적어도 하나 이상의 3D 부분 영상부;를 포함하는 것이며,
    상기 2D 부분 영상부와 상기 3D 부분 영상부는 적어도 1회 이상 교번하여 나타나는 것인 것을 특징으로 하는 복합 차원 콘텐츠 파일.
  37. 제 36항에 있어서,
    상기 파일 헤더부에는
    재생 구간 속성 정보가 더 포함되어 있는 것인 것을 특징으로 하는 복합 차원 콘텐츠 파일.
  38. 제 37항에 있어서,
    상기 재생 구간 속성 정보는 상기 영상 데이터부 중에서 상기 2D 부분 영상부와 상기 3D 부분 영상부에 대응되는 영상 데이터에 대한 정보가 더 포함되어 있는 것인 것을 특징으로 하는 복합 차원 콘텐츠 파일.
  39. 제 38항에 있어서,
    재생 구간 속성 정보는 상기 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 입수하는 것이거나,
    상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시간 구간 대응 정보 또는 프레임 구간 대응 정보인 것을 특징으로 하는 복합 차원 콘텐츠 파일.
  40. 제 36항에 있어서,
    상기 2D 부분 영상부와 상기 3D 부분 영상부는 물리적인 경계의 구분 없이 연결되어 있는 것인 것을 특징으로 하는 복합 차원 콘텐츠 파일.
KR1020130017859A 2013-02-20 2013-02-20 복합 차원 콘텐츠 제공 시스템, 그 제공 방법 및 복합 차원 콘텐츠 파일 KR20140104121A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130017859A KR20140104121A (ko) 2013-02-20 2013-02-20 복합 차원 콘텐츠 제공 시스템, 그 제공 방법 및 복합 차원 콘텐츠 파일
PCT/KR2013/011933 WO2014129735A1 (ko) 2013-02-20 2013-12-20 복합 차원 콘텐츠 제공 시스템, 그 제공 방법 및 복합 차원 콘텐츠 파일

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130017859A KR20140104121A (ko) 2013-02-20 2013-02-20 복합 차원 콘텐츠 제공 시스템, 그 제공 방법 및 복합 차원 콘텐츠 파일

Publications (1)

Publication Number Publication Date
KR20140104121A true KR20140104121A (ko) 2014-08-28

Family

ID=51391485

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130017859A KR20140104121A (ko) 2013-02-20 2013-02-20 복합 차원 콘텐츠 제공 시스템, 그 제공 방법 및 복합 차원 콘텐츠 파일

Country Status (2)

Country Link
KR (1) KR20140104121A (ko)
WO (1) WO2014129735A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102118347B1 (ko) * 2019-04-09 2020-06-29 제이씨현시스템주식회사 드론의 열화상정보를 활용한 위험지역 자율비행 감시시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113411675B (zh) * 2021-05-20 2023-04-25 歌尔股份有限公司 视频混合播放方法、装置、设备及可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101100212B1 (ko) * 2006-04-21 2011-12-28 엘지전자 주식회사 방송 신호 전송 방법, 방송 신호 재생 방법, 방송 신호전송 장치 및 방송 신호 수신 장치
KR101257386B1 (ko) * 2007-10-08 2013-04-23 에스케이플래닛 주식회사 통합 멀티미디어 파일 구조를 이용한 3ｄ 멀티미디어콘텐츠 서비스 시스템 및 방법
KR20110060736A (ko) * 2009-11-30 2011-06-08 주식회사 하이닉스반도체 반도체 장치
EP2618584B1 (en) * 2010-09-17 2016-08-10 Panasonic Intellectual Property Management Co., Ltd. Stereoscopic video creation device and stereoscopic video creation method
US8854424B2 (en) * 2011-06-08 2014-10-07 City University Of Hong Kong Generating an aerial display of three-dimensional images from a single two-dimensional image or a sequence of two-dimensional images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102118347B1 (ko) * 2019-04-09 2020-06-29 제이씨현시스템주식회사 드론의 열화상정보를 활용한 위험지역 자율비행 감시시스템

Also Published As

Publication number Publication date
WO2014129735A1 (ko) 2014-08-28

Similar Documents

Publication Publication Date Title
CN106792246B (zh) 一种融合式虚拟场景互动的方法及系统
JP6878014B2 (ja) 画像処理装置及びその方法、プログラム、画像処理システム
KR101604250B1 (ko) 게임 동영상 추천 서비스 제공 방법
JP4360425B2 (ja) 画像処理装置、その処理方法およびプログラム
KR101791778B1 (ko) 게임 플레이 동영상에 광고 컨텐츠를 추가 적용하여 제공하는 서비스 방법
KR101530826B1 (ko) 360도 공간영상 재생방법 및 그 시스템
JP5851625B2 (ja) 立体視映像処理装置、立体視映像処理方法及び立体視映像処理用プログラム
JP5393237B2 (ja) 画像表示装置及びその制御方法、並びにプログラム及び記憶媒体
KR101561346B1 (ko) 재생 제어 장치, 재생 제어 방법 및 기록 매체
KR100901111B1 (ko) 삼차원 가상 공간 콘텐츠를 이용한 영상제공시스템
KR101430985B1 (ko) 2d-3d 복합 차원 콘텐츠 파일을 사용하는 복합 차원 콘텐츠 서비스 제공 시스템, 그 서비스 제공 방법
KR20160021706A (ko) 360도 공간영상 재생방법 및 그 시스템
KR101843025B1 (ko) 카메라워크 기반 영상합성 시스템 및 영상합성방법
JP5407708B2 (ja) 撮影映像処理装置、制御方法及びプログラム
KR20140104121A (ko) 복합 차원 콘텐츠 제공 시스템, 그 제공 방법 및 복합 차원 콘텐츠 파일
CN110198457B (zh) 视频播放方法及其设备、系统、存储介质、终端、服务器
KR101285382B1 (ko) 동영상 편집 기능을 구비한 동영상 촬영 장치 및 방법
JP4200858B2 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JP2015037290A (ja) 映像制御装置、映像表示装置、映像制御システム、および方法
JP6463967B2 (ja) 撮像装置及びその制御方法
JP5895921B2 (ja) 撮影映像処理装置、制御方法及びプログラム
JP6020665B2 (ja) 再生制御装置、再生制御方法及びプログラム
Thompson Investigations With Prototype Workflows and Specialist Cameras for Wider Target Platform Coverage Reduced Complexity and Universal Distribution
JP4790670B2 (ja) 画像表示システムおよび画像表示方法
CN115665461A (zh) 一种视频录制方法及虚拟现实设备

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130220

PG1501 Laying open of application
N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20150915

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20170203

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

PC1203 Withdrawal of no request for examination
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid