KR101648454B1 - 방송 송신기, 방송 수신기 및 3ｄ 비디오 데이터 처리 방법 - Google Patents

Abstract

방송 송신기 및 방송 수신기의 3D 비디오 데이터 처리 방법이 개시된다. 본 발명의 일 실시예에 따른 방송 송신기의 3D 비디오 데이터 처리 방법은, 3D 비디오 데이터를 포매팅하는 단계; 상기 포매팅된 3D 비디오 데이터를 인코딩하는 단계; 3D 비디오 데이터 포매팅 및 상기 인코딩에 대한 정보를 포함하는 3D 이미지 포맷 정보를 포함하는, 시스템 정보를 생성(generating)하는 단계; 및 상기 3D 비디오 데이터 및 상기 시스템 정보를 포함하는 방송 신호 전송하는 단계를 포함한다. 또한, 본 발명의 일 실시예에 따른 방송 수신기의 3D 비디오 데이터 처리 방법은, 3D 비디오 데이터 및 시스템 정보를 포함하는 방송 신호를 수신하는 단계; 상기 시스템 정보를 파싱하여 3D 이미지 포맷 정보를 획득하는 단계; 상기 3D 비디오 데이터를 디코딩하는 단계; 및 상기 3D 이미지 포맷 정보에 따라 상기 디코딩된 3D 비디오 데이터를 스캐닝하고, 스캐닝된 비디오 데이터를 포메팅하여 출력하는 단계를 포함한다.

Description

방송 송신기, 방송 수신기 및 3Ｄ 비디오 데이터 처리 방법{Broadcast transmitter, Broadcast receiver and 3D video data processing method thereof}

본 발명은 방송 신호를 처리하기 위한 장치 및 방법에 관한 것으로, 더욱 자세하게는 3D 방송 시스템에서 복수의 비디오 스트림을 전송하는 경우 비디오 데이터를 처리하는 방송 송신기, 방송 수신기 및 3D 비디오 데이터 처리 방법에 관한 것이다.

일반적으로 3D(3 dimensions) 이미지(또는 입체 이미지)는 두 눈의 스테레오(stereo) 시각 원리를 이용하여 입체감을 제공한다. 인간은 두 눈의 시차, 다시 말해 약 65mm 정도 떨어진 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)를 통해 원근감을 느끼므로, 3D 이미지는 좌안과 우안 각각이 연관된 평면 이미지를 보도록 이미지를 제공하여 입체감과 원근감을 제공할 수 있다.

이러한 3D 이미지를 디스플레이 방법에는 스테레오스코픽(stereoscopic) 방식, 부피표현(volumetric) 방식, 홀로그래픽(holographic) 방식 등이 있다. 스테레오스코픽 방식의 경우, 좌안에서 시청되기 위한 left view image와 우안에서 시청되기 위한 right view image를 제공하여, 편광 안경 또는 디스플레이 장비 자체를 통해 좌안과 우안이 각각 left view image와 right view image를 시청함으로써 3D 효과를 인지할 수 있도록 한다.

본 발명이 이루고자 하는 기술적 과제는, 3D 방송 시스템에서 스테레오스코픽 디스플레이를 위해 두개의 비디오 스트림을 전송하는 경우 3D 비디오 데이터에 대한 정보를 송신 및 수신하고 이를 이용하여 3D 비디오 데이터를 처리함으로써 사용자에게 더욱 편리하고 효율적인 방송 환경을 제공하는데 있다.

전술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 방송 송신기의 3D 비디오 데이터 처리 방법은, 3D 비디오 데이터를 포매팅하는 단계; 상기 포매팅된 3D 비디오 데이터를 인코딩하는 단계; 3D 비디오 데이터 포매팅 및 상기 인코딩에 대한 정보를 포함하는 3D 이미지 포맷 정보를 포함하는, 시스템 정보를 생성(generating)하는 단계; 및 상기 3D 비디오 데이터 및 상기 시스템 정보를 포함하는 방송 신호 전송하는 단계를 포함한다.

또한, 본 발명의 일 실시예에 따른 방송 수신기의 3D 비디오 데이터 처리 방법은, 3D 비디오 데이터 및 시스템 정보를 포함하는 방송 신호를 수신하는 단계; 상기 시스템 정보를 파싱하여 3D 이미지 포맷 정보를 획득하는 단계; 상기 3D 비디오 데이터를 디코딩하는 단계; 및 상기 3D 이미지 포맷 정보에 따라 상기 디코딩된 3D 비디오 데이터를 스캐닝하고, 스캐닝된 비디오 데이터를 포메팅하여 출력하는 단계를 포함한다.

본 발명에 따르면 3D 방송 서비스를 제공하는 경우 수신기에서 3D 방송 서비스 제작시 의도된 3D 효과를 반영하도록 수신한 3D 비디오 데이터를 처리할 수 있다.

또한 본 발명에 따르면 기존의 2D 방송 서비스에 주는 영향을 최소화하면서 효율적으로 3D 방송 서비스를 제공할 수 있다.

도 1은 싱글 비디오 스트림 포맷의 스테레오스코픽 이미지 멀티플렉싱 포맷을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 탑바텀 방식으로 스테레오스코픽 영상을 멀티플렉싱하는 경우 영상을 구성하는 방법을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 사이드바이사이드 방식으로 스테레오스코픽 영상을 멀티플렉싱하는 경우 영상을 구성하는 방법을 도시한 도면이다.
도 4는 본 발명의 일 실시예예 따른 스테레오 포맷 정보를 포함하는 TVCT의 신택스 구조를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 TVCT에 포함되는 스테레오 포맷 디스크립터의 신택스 구조를 나타낸 도면이다.
도 6은 본 발명의 일 실시예예 따른 스테레오 포맷 정보를 포함하는 PMT의 신택스 구조를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 PMT에 포함되는 스테레오 포맷 디스크립터의 신택스 구조를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 방송 송신기를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 방송 송신기의 3D 비디오 데이터 처리 방법을 도시한 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 방송 수신기를 도시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 방송 수신기의 3D 비디오 데이터 처리 방법을 도시한 흐름도이다.
도 12는 본 발명의 일 실시예에 따라 수신된 3D 비디오 데이터를 3D 이미지 포맷 정보를 사용하여 2D 영상으로 출력하는 방송 수신기의 구성을 도시한 도면이다.
도 13은 본 발명의 일 실시예에 따라 수신된 3D 비디오 데이터를 3D 이미지 포맷 정보를 사용하여 2D 영상으로 출력하는 방법을 도시한 도면이다.
도 14는 본 발명의 다른 일 실시예에 따라 수신된 3D 비디오 데이터를 3D 이미지 포맷 정보를 사용하여 2D 영상으로 출력하는 방법을 도시한 도면이다.
도 15는 본 발명의 다른 일 실시예에 따라 수신된 3D 비디오 데이터를 3D 이미지 포맷 정보를 사용하여 2D 영상으로 출력하는 방법을 도시한 도면이다.
도 16은, 본 발명의 일 실시예에 따라 quincunx 샘플링을 사용하는 3D 비디오 데이터 처리 방법을 도시한 도면이다.
도 17은, 본 발명의 일 실시예에 따라 3D 이미지 포맷 정보를 사용하여 수신된 영상의 멀티플랙싱 포맷을 변환하여 출력하는 방송 수신기의 구성을 도시한 도면이다.
도 18은, 본 발명의 일 실시예에 따라 3D 이미지 포맷 정보를 사용하여 수신된 영상의 멀티플랙싱 포맷을 변환하여 출력하는 방송 수신기의 비디오 데이터 처리 방법을 도시한 도면이다.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.

3D 이미지 표현 방법은 2 개의 시점을 고려하는 스테레오스코픽 image 방식과 3 개 이상의 시점을 고려하는 multiple view image 방식을 포함한다. 이에 비해 종래의 single view image 방식은 모노스코픽 방식이라고 지칭할 수 있다.

스테레오스코픽 방식은 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라로 동일한 피사체를 촬영하여 획득한 좌우 한 쌍의 이미지를 사용한다. 다시점 영상은 일정한 거리나 각도를 갖는 3 개 이상의 카메라에서 촬영하여 획득한 3 개 이상의 이미지를 사용한다. 이하에서 스테레오스코픽 방식을 일 실시예로 본 발명을 설명하나 본 발명의 사상은 다시점 방식에도 적용될 수 있다. 또한 이하에서 용어 스테레오스코픽은 스테레오로 약칭할 수 있다.

스테레오스코픽 이미지 또는 다시점 이미지는 MPEG(Moving Picture Experts Group)을 포함하는 여러가지 방법으로 압축 부호화되어 전송될 수 있다.

예를 들어, 스테레오스코픽 이미지 또는 다시점 이미지는 H.264/AVC(Advanced Video Coding) 방식으로 압축 부호화되어 전송될 수 있다. 이때 수신 시스템은 H.264/AVC 코딩 방식의 역으로 수신 이미지를 복호하여 3D 이미지를 얻을 수 있다.

또한 스테레오스코픽 이미지의 left view image와 right view image 중 하나 또는 다시점 영상 중 하나의 영상을 기본 계층(base layer) 영상으로, 나머지 영상은 확장 계층(extended layer) 영상으로 할당하고, 기본 계층의 영상은 모노스코픽 영상과 동일한 방식으로 부호화하고, 확장 계층의 영상은 기본 계층과 확장 계층의 영상간의 관계 정보에 대해서만 부호화하여 전송할 수 있다. 기본 계층 영상에 대한 압축 부화화 방식의 예로 JPEG, MPEG-2, MPEG-4, H.264/AVC 방식 등이 사용될 수 있으며, 본 발명은 H.264/AVC 방식을 사용하는 것을 일 실시예로 한다. 상위 계층의 영상에 대한 압축 부호화 방식은 H.264/MVC(Multi-view Video Coding) 방식을 사용하는 것을 일 실시예로 한다.

기존의 지상파 DTV 송수신 표준은 2D 비디오 컨텐트를 기준으로 하고 있다. 따라서 3D TV 방송 컨텐트가 서비스되기 위해서는 3D 비디오 컨텐츠에 대한 송수신 표준이 추가로 정의되어야 한다. 수신기는 추가된 송수신 표준에 따라 방송 신호를 수신하고, 적절하게 처리하여 3D 방송 서비스를 지원할 수 있다.

본 발명에서 기존의 DTV 송수신 표준은 ATSC(Advanced Television Systems Committee) 표준을 일 실시예로서 설명하도록 한다.

ATSC 시스템의 경우 방송 컨텐트를 처리하기 위한 정보가 시스템 정보에 포함되어 전송될 수 있다. 시스템 정보는 예컨대, 서비스 정보라고도 불리운다. 시스템 정보는, 예를 들어 채널 정보, 프로그램 정보, 이벤트 정보 등을 포함한다. ATSC 표준 방식의 경우 상기 시스템 정보를 PSI/PSIP (Program Specific Information/Program and System Information Protocol)에 포함하여 송수신할 수 있다. 다만, 본 발명은 이에 한정되는 것은 아니며, 시스템 정보를 테이블 포맷으로 전송하는 프로토콜이라면, 그 명칭에 상관없이 본 발명이 적용될 수가 있다.

PSI는 일실시예로서, PAT(Program Assoication Table), PMT(Program Map Table), 등을 포함할 수가 있다.

PAT는 PID(Packet ID)가 ‘0’인 패킷에 의해 전송되는 특수 정보로서, 각 프로그램 마다 해당 PMT의 PID 정보를 전송할 수 있다. PMT 는 프로그램 식별 번호와 프로그램을 구성하는 비디오, 오디오 등의 개별 비트 스트림이 전송되는 트랜스포트 스트림 패킷의 PID 정보 및 PCR이 전달되는 PID 정보를 전송할 수 있다. 그리고, PAT로부터 획득한 PMT를 파싱하면, 프로그램을 구성하는 구성 요소들간의 상관관계에 대한 정보를 획득할 수 있다.

PSIP은 일실시예로서, VCT(Virtual Channel Table), STT(System Time Table), RRT(Rating Region Table), ETT(Extended Text Table), DCCT(Direct Channel Table), DDCSCT(Direct Channel Change Selection Code Table), EIT(Event Information Table), MGT(Master Guide Table) 등을 포함할 수가 있다.

VCT는 가상 채널에 대한 정보, 예를 들어 채널 선택을 위한 채널 정보와 오디오 및/또는 비디오의 수신을 위한 PID(Packet Identifier) 등의 정보를 전송할 수 있다. 즉, VCT를 파싱하면, 채널 이름, 채널 번호 등과 함께 채널 내에 실려 오는 방송 프로그램의 오디오와 비디오의 PID를 획득할 수 있다. STT는 현재의 날짜와 시간 정보를 전송하고, RRT 는 프로그램 등급을 위한 지역 및 심의 기관 등에 대한 정보를 전송할 수 있다. ETT는 채널 및 방송 프로그램에 대한 부가 설명을 전송하고, EIT는 가상 채널의 이벤트에 대한 정보를 전송할 수 있다. DCCT/DCCSCT는 자동 채널 변경과 관련된 정보를 전송하고, MGT는 PSIP 내 각 테이블의 버전 및 PID 정보를 전송할 수 있다.

3D 방송 시스템에서 스테레오스코픽 디스플레이를 위해 레프트 뷰 이미지와 라이트 뷰 이미지를 하나의 비디오 스트림에 멀티플렉싱하여 전송할 수 있는데, 이를 interim format의 스테레오스코픽 비디오 데이터 또는 스테레오스코픽 비디오 신호로 지칭할 수 있다. 이렇게 레프트 뷰의 비디오 데이터와 라이트 뷰의 비디오 데이터가 멀티플렉싱된 스테레오스코픽 비디오 신호를 방송 채널을 통해 수신하여 효과적으로 출력하기 위해서는 기존의 PSIP등의 시스템 표준에서 해당 3D 방송 서비스를 signaling할 수 있어야 한다.

2개 뷰의 비디오 데이터를 공간적(spatial) 레졸루션 측면에서 각각을 하프 레졸루션으로 줄여 전송한 후 송신단에서 하나로 합치는 경우에, 2개의 하프 레졸루션의 비디오 데이터의 용량이 하나의 풀 레졸루션의 비디오 데이터의 용량보다 커질 수 있다. 따라서 데이터의 효율적인 압축을 위해 레프트 뷰의 비디오 데이터와 라이트 뷰의 비디오 데이터를 믹싱(mixing)하는 과정에서 레브트 뷰의 비디오 데이터 도는 라이트 뷰의 비디오 데이터를 뒤집어서 2개 뷰의 비디오 데이터를 구성할 수 있다. 따라서 수신 장비에서 이러한 비디오 데이터를 효과적으로 처리하려면 상술한 비디오 전송시의 비디오 데이터 구성에 대한 정보를 signaling할 필요가 있다.

스테레오스코픽 영상의 전송 포맷에는 싱글 비디오 스트림 포맷과 멀티 비디오 스트림 포맷이 있다. 싱글 비디오 스트림 포맷은 2 시점의 비디오 데이터를 하나의 비디오 스트림에 멀티플렉싱하여 전송하는 방식으로, 하나의 비디오 스트림에 비디오 데이터를 전송하므로 3D 방송 서비스를 제공함에 있어서 추가적으로 요구되는 대역폭이 크지 않은 이점이 있다. 멀티 비디오 스트림 포맷은 복수의 비디오 데이터를 복수의 비디오 스트림으로 전송하는 방식으로, 대역폭의 사용은 늘어나나 고용량의 데이터 전송이 가능하므로 고화질의 비디오 데이터를 디스플레이할 수 있는 이점이 있다.

도 1은 싱글 비디오 스트림 포맷의 스테레오스코픽 이미지 멀티플렉싱 포맷을 도시한 도면이다.

싱글 비디오 스트림 포맷에는 (a)의 사이드바이사이드(side-by-side) 포맷, (b)의 탑바텀(top-bottom) 포맷, (c)의 인터레이스드(interlaced) 포맷, (d)의 프레임시퀀셜(frame sequential) 포맷, (e)의 체커보드(checker board) 포맷, (f)의 애너글리프(anaglyph) 포맷 등이 있다.

(a)의 사이드바이사이드 포맷은 좌 영상과 우 영상을 각각 수평방향으로 1/2 다운샘플링하고, 샘플링한 하나의 영상을 좌측에, 샘플링한 나머지 하나의 영상을 우측에 위치시켜 하나의 스테레오스코픽 영상을 구성하는 포맷이다. (b)의 탑바텀 방식은 좌 영상과 우 영상을 각각 수직방향으로 1/2 다운샘플링하고, 샘플링한 하나의 영상을 상부에, 샘플링한 나머지 하나의 영상을 하부에 위치시켜 하나의 스테레오스코픽 영상을 구성하는 포맷이다. (c) 의 인터레이스드 방식은 좌 영상과 우 영상을 각각 수평방향으로 라인마다 교차하도록 1/2 다운샘플링하여 두 영상을 하나의 영상으로 구성하거나, 좌 영상과 우 영상을 각각 수직방향으로 라인마다 교차하도록 1/2 다운샘플링하여 두 영상을 하나의 영상으로 구성하는 포맷이다. (d)의 프레임 시퀀셜 방식은 하나의 비디오 스트림에 좌영상과 우영상을 시간적으로 교차하여 구성하는 포맷이다. (e)의 체커보드 포맷은 좌 영상과 우 영상을 각각 수직 및 수평방향으로 교차하도록 1/2 다운샘플링하여 두 영상을 하나의 영상으로 구성하는 포맷이다. (f)의 애너글리프 포맷은 보색 대비를 이용하여 입체 효과를 내도록 영상을 구성하는 포맷이다.

수신 시스템에서 이러한 다양한 방식으로 전송된 비디오 데이터를 효율적으로 디멀티플렉싱하여 비디오 데이터를 처리하려면 상술한 멀티플렉싱 포맷에 대한 정보를 전송해줄 필요가 있다.

도 1에서, 특히 사이드바이사이드 방식 및 탑바텀 방식으로 비디오 데이터를 전송하는 경우 1/2 다운 샘플링을 한 2개의 영상을 송신하므로 각각의 영상의 해상도는 1/2가 될 수 있다. 그러나 하프 레졸루션의 영상 2개를 전송하는 경우 비디오 데이터의 용량이 하나의 풀 레졸루션의 영상을 전송하는 경우의 비디오 데이터 용량보다 커질 수 있다. 예를 들면, 비디오 데이터를 기준 영상과 그에 대한 변화 및 차이를 나타내도록 코딩하는 경우 비디오 압축율이 상승할 수 있는데, 이러한 경우 하나의 풀 레졸루션의 비디오 데이터의 압축율에 비해 2개의 하프 레졸루션의 비디오 데이터의 압축율이 떨어지면 이러한 경우가 발생할 수 있다. 따라서, 송신 시스템에서 전송시 압축율을 높일 수 있도록 2개의 영상에서 하나를 상하로 인버팅(inverting)하거나 좌우로 미러링(mirroring)할 수 있다.

도 2는 본 발명의 일 실시예에 따른 탑바텀 방식으로 스테레오스코픽 영상을 멀티플렉싱하는 경우 영상을 구성하는 방법을 도시한 도면이다.

영상들(2010 내지 2030)은 좌영상을 탑에, 우영상을 바텀에 위치시켜 영상을 구성하며, 영상들(2040 내지 2060)은 좌영상을 바텀에, 우영상을 탑에 위치시켜 영상을 구성한다.

영상(2010)은 좌영상과 우영상이 노멀하게 구성되어 있으며, 영상(2020)은 탑의 좌영상이 인버팅된 구성을, 영상(2030)은 바텀의 우영상이 인버팅된 구성을 나타낸다. 영상(2040)은 우영상과 좌영상이 노멀하게 구성되어 있으며, 영상(2050)은 바텀의 좌영상이 인버팅된 구성을, 영상(2060)은 탑의 우영상이 인버팅된 구성을 나타낸다.

도 3은 본 발명의 일 실시예에 따른 사이드바이사이드 방식으로 스테레오스코픽 영상을 멀티플렉싱하는 경우 영상을 구성하는 방법을 도시한 도면이다.

영상들(3010 내지 3030)은 좌영상을 좌측에, 우영상을 우측에 위치시켜 영상을 구성하며, 영상들(3040 내지 3060)은 좌영상을 우측에, 우영상을 좌측에 위치시켜 영상을 구성한다.

영상(3010)은 좌영상과 우영상이 노멀하게 구성되어 있으며, 영상(3020)은 좌측의 좌영상이 미러링된 구성을, 영상(3030)은 우측의 우영상이 미러링된 구성을 나타낸다. 영상(3040)은 우영상과 좌영상이 노멀하게 구성되어 있으며, 영상(3050)은 우측의 좌영상이 미러링된 구성을, 영상(3060)은 좌측의 우영상이 미러링된 구성을 나타낸다.

도 2 및 도 3에서 영상의 인버팅 및 미러링은 데이터 압축율의 차이를 가져올 수 있다. 예를 들어, 한 화면을 기준 화소로부터 주변 화소에 대한 데이터를 differentially 압축하는 경우를 가정하자. 한 쌍의 스테레오스코픽 영상은 기본적으로 동일한 화면에 대한 3D 효과를 나타내는 영상의 쌍이므로 화면의 위치에 따른 정보가 유사할 개연성이 높다. 즉, 노멀하게 배치된 영상들(2010, 2040, 3010, 3040)에서는 좌영상과 우영상이 이어지는 부분에서 완전히 새로운 영상 정보가 이어지고, 압축되는 차분값들이 크게 변화할 수 있다. 그러나, 인버팅된 영상들(2020, 2030, 2050, 2060)의 경우 좌영상의 하부와 우영상의 하부(2030, 2050) 또는 좌영상의 상부가 우영상의 상부(2020, 2060)와 이어지게 되어 좌영상과 우영상이 이어지는 부분에서 코딩되는 데이터의 양이 줄어들 수 있다. 미러링된 영상들(3020, 3030, 3050, 3060)의 경우에도 좌영상의 우측과 우영상의 우측(3030, 3050)이 이어지거나 좌영상의 좌측과 우영상의 좌측(3020, 3060)이 이어지게 되어 좌영상과 우영상이 이어지는 부분에서 데이터의 유사성이 연속되므로 코딩되는 데이터의 양이 줄어들 수 있다.

수신 시스템에서 3D 비디오 스트림 내지는 3D 비디오 데이터를 수신하여 효율적으로 처리하려면 상술한 멀티플렉싱 포맷에 대한 정보를 전송해주여야 하며, 더불어 상술한 바와 같이 영상이 인버팅되거나 미러링된 경우에는 이에 관련된 정보를 전송해주어야 한다. 이하에서 이러한 정보를 3D 이미지 포맷 정보 또는 스테레오 포맷 정보라고 지칭할 수 있으며, 편의에 따라 테이블 또는 디스크립터로 정의할 수도 있다.

3D 이미지 포맷 정보는 일 실시예로서 ATSC 통신 시스템의 경우 PSIP의 VCT 또는 PSI의 PMT에 디스크립터 형태로 포함되어 전송될 수 있으며, 이하에서 3D 이미지 포맷 정보 및 전송 방법에 대하여 설명하도록 한다.

도 4는 본 발명의 일 실시예예 따른 스테레오 포맷 정보를 포함하는 TVCT의 신택스 구조를 나타낸 도면이다. 도 4의 TVCT의 필드들에 대한 설명은 이하와 같다.

"table_id" 필드의 값은 여기서 정의된 테이블 섹션의 타입을 가리킨다. terrestrial_virtual_channel_table_section() 을 위하여는, "table_id" 는 0xC8 이 될 것이다.

"section_syntax_indicator" 필드는 1 비트로서, terrestrial_virtual_channel_table_section()을 위하여 1 로 셋팅될 수 있다.

"private_indicator" 는 1 로 셋팅될 수 있다.

"section_length" 필드는 12 비트의 필드로서, 처음 두 비트는 '00' 으로 셋팅 될 수 있다. 그것은 "section_length" 를 따라 시작되는 섹션의 바이트 넘버와 CRC 를 포함한다. 이 필드에서의 값은 1021를 넘지 않을 것이다.

"transport_stream_id" 필드는 이 멀티플레서를 위한 제로의 PID 값에 의하여 식별되는 Program Association Table (PAT) 내에서 나타나는 16 비트의 MPEG-2 트랜스포트 스트림 ID 이다. "transport_stream_id" 는 이 Terrestrial Virtual Channel Table을 다른 PTC 들에서 브로드캐스트 될 수 있는 다른 것들과 구분한다.

"version_number" 필드는 Virtual Channel Table의 버전 넘버이다.

"current_next_indicator" 는 1 비트 인디케이터로서, 1 로 셋팅된 경우, 현재 보내진 VCT가 적용 가능함을 가리킨다. 이 비트가 0 으로 셋팅된 경우, 보내진 테이블은 아직 적용 가능하지 않고, 다음 테이블이 유효함을 가리킨다.

현재 적용 가능한 테이블에 대한 업데이트는 version_number 필드의 증가로 시그널링 될 수 있다.

"section_number" 는 이 섹션의 넘버를 준다. Terrestrial Virtual Channel Table의 처음 섹션의 "section_number" 는 0x00 일 것이다. 그것은 Terrestrial Virtual Channel Table에서의 각각의 추가적인 섹션과 함께 하나씩 증가할 것이다.

"last_section_number" 는 완전한 Terrestrial Virtual Channel Table 의 마지막 섹션 (가장 높은 section_number를 가지는 섹션) 의 넘버를 특정한다.

"protocol_version" 의 기능은, 미래에, 현재 프로토콜에서 정의된 것과 달리 구성된 파라미터를 운반하는 테이블 타입을 허용하는 것이다. 현재는, protocol_version을 위하여 유효한 값은 0 이다. protocol_version가 0이 아닌 경우에는 구조적으로 다른 테이블을 가리키기 위하여 미래에 사용될 것이다.

"num_channels_in_section" 필드는 이 VCT 섹션의 버추어 채널의 수를 특정한다. 이 수는 섹션 길이에 의하여 제한될 수 있다.

"short_name" 필드는 버추어 채널의 이름을 특정한다.

"major_channel_number" 필드는 "for" 루프의 반복에서 정의된 버추어 채널과 연관된 메이저 채널 넘버를 나타내는 10 비트의 넘버이다. 각각의 버추어 채널은 메이저 및 마이너 채널 넘버와 연관되어 있다. 마이너 채널 넘버와 함께 있는 메이저 채널 넘버는 버추어 채널을 위한 사용자의 참조 넘버와 같은 역할을 한다. "major_channel_number" 는 1 부터 99 까지가 될 수 있다. "major_channel_number"는 TVCT 내에서 메이저 채널 넘버/마이너 채널 넘버의 조합이 중복되지 않을 수 있도록 세팅될 것이다.

"minor_channel_number" 필드는 마이너 또는 서브 채널 넘버를 나타내는 0부터 999까지의 10 비트 넘버이다. 이 필드는 메이저 채널 넘버와 함께 two-part 채널 넘버를 수행한다.마이너 채널 넘버는 채널 넘버의 두 번째 혹은 오른쪽 편 넘버를 나타낸다. "service_type" 이 아날로그 텔레비전인 경우, 마이너 채널 넘버는 0으로 셋팅 될 것이다. "service_type" 이 ATSC_digital_television 혹은 ATSC_audio_only 인 서비스들의 경우, 마이너 넘버를 1부터 99까지 사용할 것이다. "minor_channel_number"의 값은 메이저 채널 넘버/마이너 채널 넘버의 조합이 TVCT 안에서 중복되지 않도록 셋팅될 것이다. 데이터 방송과 같은 다른 타입의 서비스들을 위하여, 유효한 마이너 버추어 채널 넘버는 1부터 999까지 이다.

"modulation_mode" 필드는 이 버추어 채널과 연관된 전송된 캐리어를 위한 변조 모드를 가리킨다.

"carrier_frequency" 필드의 값은 0 이다. 이 필드는 캐리어 주파수를 식별하기 위하여 사용될 수도 있다.

"channel_TSID" 필드는 이 버추어 채널에 의하여 참조되는 MPEG-2 프로그램을 운반하는 트랜스포트 스트림과 연관된 MPEG-2 트랜스포트 스트림 ID를 나타내는 0x0000부터 0xFFFF 까지의 값을 가진다. 비활성화된 채널을 위하여, "channel_TSID" 는 그것이 활성화되면 서비스를 운반할 트랜스포트 스트림의 ID를 나타낸다. 수신기는 수신한 트랜스포트 스트림이 실질적으로 원하던 멀티플렉스인지 판단하기 위하여 "channel_TSID"를 사용할 수 있다. 아날로스 채널 (service_type 0x01) 을 위하여, "channel_TSID"는 NTSC 신호의 VBI에 포함된 아날로그 TSID의 값을 가리킬 것이다.

"program_number" 필드는 여기서 정의된 버추어 채널을 MPEG-2 PROGRAM ASSOCIATION 과 TS PROGRAM MAP 테이블과 연관시킨다. 아날로그 서비스를 대표하는 버추어 채널을 위하여, 0xFFFF의 값이 "program_number" 로 특정될 수 있다.

"ETM_location" 필드는 Extended Text Message (ETM)의 위치와 존재를 특정한다.

"access_controlled" 필드는, 1 비트의 불 플래그 (Boolean flag) 로서, 설정된 경우, 버추어 채널과 연관된 이벤트가 접근 제어되고 있음을 가리킨다. 위 플래그가 0 으로 셋팅된 경우, 이벤트 접근은 제한되지 않는다.

"hidden field" 는 1 비트의 불 플래그로서, 설정된 경우, 버추어 채널이 버추어 채널 넘버의 직접 엔트리에 의하여 접근되지 않았음을 가리킨다. 숨겨진 버추어 채널은 사용자가 채널 서핑을 할 때, 스킵 (skip) 되고, 만약 직접 채널 엔트리에 의하여 접근되는 경우, 정의되지 않은 것처럼 나타난다. 숨겨진 채널을 위한 일반적인 어플리케이션은 테스트 신호와 NVOD 서비스이다. 숨겨진 채널과 그것의 이벤트가 EPG 화면에서 나타나는지 여부는 "hide_guide" 비트의 상태에 의존한다.

"hide_guide" 필드는 불 플래그로서, 그것이 히든 채널을 위하여 0 으로 셋팅된 경우, 버추어 채널과 이벤트는 EPG 화면에 나타남을 가리킨다. 이 비트는 숨겨진 비트가 설정되지 않은 채널을 위하여는 무시될 것이다. 그래서, 숨겨지지 않은 채널과 그것의 이벤트는 "hide_guide" 비트의 상태와 관계없이 항상 EPG 화면에 포함되어질 것이다. "hide_guide" 비트가 1로 셋팅된 숨겨진 채널을 위한 일반적인 어플리케이션은 테스트 신호와 어플리케이션 레벨 포인터를 통하여 접속가능한 서비스이다.

"service_type" 필드는 이 버추어 채널에서 운반되는 서비스의 타입을 식별한다. 특히, 도 3에 도시된 바와 같이, 도 2의 service type 필드의 값이 예를 들어 0x10 인 경우, 가상 채널이 3D television programming 을 전송(carry) 하는 경우를 의미할 수 있다. 물론, 상기 수치는 일예에 불과하며, 상기 수치로 본 발명의 권리범위가 한정되는 것은 아니다.

"source_id" 필드는 버추어 채널과 연관된 프로그래밍 소스를 식별한다. 이 상황에서, 소스는 비디오, 텍스트, 데이터 또는 오디오 프로그래밍의 하나의 특정 소스이다. "Source ID" 의 값이 0 인 것은 예약이 되어있다. "Source ID" 값은 0x0001부터 0x0FFF 까지의 값을 가지고, VCT를 운반하는 트랜스포트 스트림 내에서 고유한 것이고, 0x1000부터 0xFFFF까지의 값은 지역의 레벨에서 고유한 것일 것이다. "source_id" 의 값이 0x1000 과 그 이상인 것이 ATSC 에 의하여 지정된 Registration Authority에 의하여 배포되고 관리될 수 있다.

"descriptors_length" 필드는 버추어 채널을 위한 디스크립터들의 총 길이 (바이트) 를 가리킨다.

"descriptor()" 필드는 ‘descriptor()’ 필드를 위하여 적절한 0 또는 수 개의 디스크립터들을 포함한다.

"additional_descriptors_length" 필드는 VCT 디스크립터 리스트의 총 길이 (바이트) 를 가리킨다.

"CRC_32" 필드는 디코더 내의 레지스터로 부터 제로 출력이 나올수 있도록 하는 값을 가지고 있다.

service_type 필드(4010)는 해당 채널에서 제공하는 방송 서비스가 3D 방송 서비스인 경우 이를 나타내는 필드이다. 일 실시예로서, service_type 필드(4010)의 필드값이 0x12인 경우, 해당 virtual channel에서 3D 방송 프로그램(오디오, 비디오, 및 3D 스테레오스코픽 이미지를 디스플레이하기 위한 추가적인 비디오 스트림을 포함하는)을 제공하고 있음을 나타낼 수 있다.

디스크립터 필드(4020)는 스테레오 포맷 정보를 포함하며, 이하의 도면을 참조하여 설명하도록 한다.

도 5는 본 발명의 일 실시예에 따른 TVCT에 포함되는 스테레오 포맷 디스크립터의 신택스 구조를 나타낸 도면이다.

number_elements 필드는 해당 virtual channel을 구성하는 비디오 엘러먼트들의 수를 나타낸다. 방송 수신기는 스테레오 포맷 디스크립터를 수신하여 해당 virtual channel을 구성하는 비디오 엘러먼트들의 수만큼 이하의 필드들에 포함된 정보를 파싱할 수 있다.

elementary_PID 필드는 해당 비디오 엘러먼트의 PID를 나타낸다. 스테레오 포맷 디스크립터는 elementary_PID 필드의 PID를 갖는 비디오 엘러먼트에 대한 이하의 정보들을 정의한다. 방송 수신기는 스테레오 포맷 디스크립터로부터 해당 PID를 갖는 비디오 엘러먼트의 3D 비디오 디스플레이를 위한 정보를 획득할 수 있다.

stereo_composition_type 필드는 스테레오스코픽 영상을 멀티플렉싱하는 포맷을 나타내는 필드이다. 수신 시스템은 stereo_composition_type 필드를 파싱하여 해당 3D 영상이 사이드바이사이드, 탑바텀, 인터레이스드, 프레임 시퀀셜, 체거보드, 에너그리프 중 어느 멀티플렉싱 포맷으로 전송되었는지를 결정할 수 있다.

LR_first_flag 필드는 스테레오스코픽 영상을 멀티플렉싱하는 경우, 가장 좌측 최상단 픽셀이 레프트 이미지인지 또는 라이트 이미지인지를 나타낸다. 일 실시예로서, 레프트 이미지가 좌측 상단에 위치하는 경우 필드값을 ‘0’으로, 라이트 이미지가 좌측 상단에 위치하는 경우 필드값을 ‘1’로 설정할 수 있다. 예를 들면, 수신 시스템은 stereo_composition_type을 통해 수신된 3D 영상이 사이드바이사이드의 멀티플랙싱 포맷으로 수신된 것을 알 수 있고, LR_first_flag 필드값이 ‘0’인 경우 한 프레임 내에서 좌측 절반의 이미지는 레프트 이미지에 해당하고, 우측 절반의 이미지는 라이트 이미지에 해당한다는 것을 식별할 수 있다.

LR_output_flag 필드는 2D 방송 수신기와의 호환성을 위해 스테레오스코픽 이미지들 중 하나의 이미지만을 출력하는 애플리케이션에 대해 recommended output view를 나타내는 필드이다. 일 실시예로서, 2D 영상 출력시 필드값이 ‘0’이면 레프트 이미지를, 필드값이 ‘1’이면 라이트 이미지를 출력할 수 있다. LR_output_flag 필드는 사용자의 설정에 의해 무시될 수 있으나, 출력 영상과 관련한 사용자 입력이 없으면 2D 출력시 사용되는 default view의 이미지를 나타낼 수 있다. 예를 들면, LR_output_flag의 필드값이 ‘1’인 경우, 사용자의 다른 설정 또는 입력이 없는 한 수신 시스템은 라이트 이미지를 2D 출력으로 사용한다.

left_flipping_flag 필드 및 right_flipping_flag 필드는 레프트 이미지 및 라이트 이미지의 스캔 방향을 나타낸다. 전송 시스템에서 코딩시 압축 효율을 고려하여 레프트 이미지 또는 라이트 이미지를 역방향으로 스캔하여 코딩할 수 있다.

전송 시스템에서 스테레오스코픽 이미지를 도 2 및 도 3에서 설명한 바와 같이 탑바텀 포맷 또는 사이드바이사이드 포맷으로 전송할 수 있다. 이때, 탑바텀 포맷의 경우는 하나의 영상을 상하로 인버팅하거나 사이드바이사이드 포맷의 경우는 하나의 영상을 좌우로 미러링할 수 있다. 이렇게 상하로 인버팅 또는 좌우로 미러링된 경우 수신 시스템에서는 left_flipping_flag 필드를 파싱하여 스캔 방향을 판단할 수 있다. 일 실시예로서, left_flipping_flag 필드 및 right_flipping_flag 필드의 필드값이 ‘0’이면 원래의 스캔 방향대로 레프트 이미지 및 라이트 이미지의 픽셀들이 배열되어 있음을 나타내며, left_flipping_flag 필드 및 right_flipping_flag 필드의 필드값이 ‘1’이면 레프트 이미지 및 라이트 원래의 스캔 방향의 역방향으로 레프트 이미지 및 라이트 이미지의 픽셀들이 배열되어 있음을 나타낼 수 있다.

상술한 바와 같이 스캔 방향은 탑바텀 포맷의 경우에는 수직 방향으로 역방향, 사이드바이사이드 포맷의 경우에는 수평 방향으로 역방향이다. 수신 시스템의 구현 실시예에 따라서, left_flipping_flag 필드 및 right_flipping_flag 필드는 탑바텀 포맷 및 사이드바이사이드 포맷의 경우 외에는 그외의 멀티플렉싱 포맷에 대하여는 무시된다. 즉 수신 시스템은 stereo_composition_type 필드를 파싱하여, 멀티플랙싱 포맷을 판단하고, 멀티플랙싱 포맷이 탑바텀 포맷 또는 사이드바이사이드 포맷인 경우에는 left_flipping_flag 필드 및 right_flipping_flag 필드를 파싱하여 스캔 방향을 결정하고, 다른 멀티플랙싱 포맷인 경우에는 left_flipping_flag 필드 및 right_flipping_flag 필드를 무시할 수 있다. 다만, 시스템 구현의 다른 실시예에 있어서, 탑바텀 포맷 및 사이드바이사이드 포맷 외의 멀티플렉싱 포맷에 있어서도 역방향으로 이미지가 구성될 수 있으며, 이러한 경우 left_flipping_flag 필드 및 right_flipping_flag 필드를 통해 스캔 방향을 결정할 수 있다.

sampling_flag 필드는 전송 시스템에서 풀 레졸루션의 이미지를 하프 레졸루션으로 샘플링한 경우 샘플링 수행 여부를 나타낸다. 일 실시예로서, 전송 시스템에서는 수평 방향 또는 수직 방향으로 1/2 다운샘플링(또는 1/2 decimation)을 수행할 수 있으며, 채커보드 포맷의 형태와 같애 quincunx 필터를 사용하여 대각방향으로 1/2 다운샘플링(quincunx sampling 또는 quincunx filtering)을 수행할 수 있다. 일 실시예로서, sampling_flag 필드의 필드값이 ‘1’이면 송신 시스템에서 수평방향 또는 수직방향으로 1/2 다운샘플링이 수행되었음을 나태내며, sampling_flag 필드의 필드값이 ‘0’이면 quincunx 필터를 사용하여 다운 샘플링이 수행되었음을 나타낼 수 있다. 수신 시스템은 sampling_flag 필드의 필드값이 ‘1’이면 quincunx 필터링을 역과정을 수행하여 영상을 복원할 수 있다.

예를 들어, 스테레오 포맷 디스크립터의 필드들에서 각각의 필드값들이 stereo_composition_type = ‘side-by-side’, LR_first_flag = ‘1’, left_flipping_flag = ‘1’, right_flipping_flag = ‘0’ 인 경우에는 비디오 스트림이 사이드바이사이드 포맷으로 멀티플렉싱되어 있으며, 라이트 이미지가 좌측에 위치하고, 레프트 이미지가 미러링되어 있음을 알 수 있다. 따라서 수신 시스템은 디스플레이하기 전에 레프트 이미지를 역방향으로 스캔하여 출력화면을 구성하도록 한다. 만약 sampling_flag = ‘1’ 인 경우에는 quincunx sampling되어 있음을 알 수 있으므로 수신 시스템에서는 quincunx reverse-sampling을 수행하여 적절한 포매팅을 수행한 후 출력 화면을 구성할 수 있다.

사용자가 2D 모드로 시청을 원하는 경우 또는 디스플레이 디바이스가 3D 디스플레이를 지원하지 않는 경우, 방송 수신기는 LR_output_flag 필드에 의해 지정된 view의 영상을 default로 출력할 수 있다. 이때, 다른 view의 이미지는 출력하지 않고 바이패스할 수 있다. 이 과정에서, 방송 수신기는 left_flipping_flag 필드 및 right_flipping_flag 필드 등을 참고하여 이미지의 역방향 스캔을 수행할 수도 있다.

도 6은 본 발명의 일 실시예예 따른 스테레오 포맷 정보를 포함하는 PMT의 신택스 구조를 나타낸 도면이다. 도 6의 PMT의 필드들에 대한 설명은 이하와 같다.

"table_id"는 8 비트의 필드로서, TS_program_map_section 인 경우, 0x02로 셋팅될 수 있다.

"section_syntax_indicator"는 1 비트의 필드로서, 1로 셋팅될 수 있다.

"section_length"는 12 비트의 필드로서, 처음 2 비트는 '00'으로 셋팅될 수 있다. 남은 10 비트는 "section_length"를 이어 시작되고, CRC를 포함하는 섹션의 바이트의 넘버를 특정한다. 이 필드의 값은 1021 (0x3FD)을 넘지 않을 것이다.

"program_number"는 16 비트의 필드이다. 이것은 "program_map_PID" 가 적용 가능한 프로그램을 식별한다. 하나의 프로그램 정의는 하나의 TS_program_map_section 내에서 운반될 수 있다.이것은 프로그램 정의가 1016 (0x3F8) 보다 길지 않다는 것을 내포한다. "program_number"은 예를 들면, 방송 채널을 위한 지칭으로 사용될 수 있다. 프로그램에 속하는 다른 프로그램 엘레먼트들을 묘사함으로서, 다른 소스로부터의 데이터 (예를 들면, 시퀀셜 이벤트)는 program_number을 사용하는 스트림들의 연속적인 세트를 형성하기 위하여 함께 결합될 수 있다.

"version_number" 는 TS_program_map_section 의 버전 넘버이다. 버전 넘버는 섹션 내에서 운반되는 정보의 변화가 발생한 경우 1 (modulo 32) 만큼 증가한다. 버전 넘버는 하나의 프로그램의 정의를 참조하고, 그래서 하나의 섹션을 참조한다. "current_next_indicator" 가 1 로 셋팅된 경우, "version_number" 는 TS_program_map_section에 현재에 적용가능한 것일 수 있다. "current_next_indicator" 가 0 으로 셋팅된 경우, "version_number" 는 TS_program_map_section에 다음에 적용가능한 것일 수 있다.

"current_next_indicator" 필드가 1 로 셋팅된 경우, 보내지는 TS_program_map_section 이 현재 적용 가능함을 가리킨다. 위 비트가 0 으로 셋팅된 경우, 보내지는 TS_program_map_section 이 현재에 적용 가능하지는 않고, 다음 TS_program_map_section 이 유효함을 가리킨다.

"section_number" 필드의 값은 0x00 일 것이다.

"last_section_number" 필드의 값은 0x00 일 것이다.

"PCR_PID" 필드는 13 비트의 필드로서, "program_number" 에 의하여 특정되는 프로그램을 위하여 유효한 PCR 필드를 포함할 수 있는 트랜스포트 스트림 패킷들의 PID를 가리킨다. 프라이빗 스트림을 위한 프로그램 정의와 연관된 PCR이 없는 경우, 이 필드는 0x1FFF 값을 가질 것이다.

"program_info_length" 는 12 비트의 필드로서, 처음 두 비트는 '00'으로 셋팅될 수 있다.남은 10 비트는 "program_info_length 필드를 따르는 디스크립터들의 바이트 넘버를 특정한다.

"stream_type" 는 8 비트의 필드로서, "elementary_PID" 에 의하여 특정되는 값을 가지는 PID를 가진 패킷들에 의하여 운반되는 프로그램 엘레먼트의 타입을 식별한다.

"elementary_PID" 는 13 비트의 필드로서, 프로그램 엘레먼트와 연관된 트랜스포트 스트림 패킷들의 PID 를 특정한다.

"ES_info_length" 는 12 비트의 필드로서, 처음 두 비트는 '00' 일 것이다. 남은 10 비트는 "ES_info_length" 필드를 따르는 연관된 프로그램 엘레먼트의 디스크립터 들의 바이트 넘버를 특정한다.

"CRC_32" 는 32 비트의 필드로서, 디코더 내의 레지스터의 제로 출력을 주는 CRC 값을 포함한다.

디스크립터 필드(6010)는 스테레오스코픽 영상을 구성하는 비디오 스트림에 대한 정보를 포함하며, 이하의 도면을 참조하여 설명하도록 한다.

도 7은 본 발명의 일 실시예에 따른 PMT에 포함되는 스테레오 포맷 디스크립터의 신택스 구조를 나타낸 도면이다.

도 7의 스테레오 포맷 디스크립터는 도 5의 스테레오 포맷 디스크립터와 유사하며, 동일한 필드에 대한 설명은 생략하기로 한다. 다만, PMT의 경우 비디오 엘러먼트에 대한 stream_type 필드 및 elementary_PID 등의 정보는 도 5의 경우와 달리 PMT에 포함되며, 이 필드들에 대한 설명은 도 5와 관련하여 설명한 바와 같다.

도 8은 본 발명의 일 실시예에 따른 방송 송신기를 도시한 도면이다.

도 8의 방송 송신기는, 3D 이미지에 대한 이미지 프로세싱을 수행하는 3D 이미지 프리-프로세서(8010), 3D 이미지들을 처리하여 3D 비디오 데이터 또는 3D 비디오 스트림을 포매팅하는 비디오 포매터(8020), 3D 비디오 데이터를 MPEG2 등의 방식에 따라 인코딩하는 3D 비디오 인코더(8030), 시스템 정보를 생성(generating)하는 SI(Systemn Information) 프로세서(8040), 비디오 데이터 및 시스템 정보들을 멀티플렉싱하는 TS 멀티플렉서(8050) 및 멀티플렉싱된 방송 신호를 전송하는 전송 유닛(8060)을 포함한다. 실시예에 따라서, 전송 유닛(8060)은 VSB 인코더(8070) 및 모듈레이터(8080)를 더 포함할 수 있다. 방송 송신기의 각 구성 요소의 동작은, 이하의 도면을 참조하여 설명하도록 한다.

도 9는 본 발명의 일 실시예에 따른 방송 송신기의 3D 비디오 데이터 처리 방법을 도시한 흐름도이다.

먼저 3D 이미지 프리-프로세서는 복수의 렌즈를 사용하여 촬영된 3D 이미지에 대해 필요한 처리를 수행하여, 복수의 3D 이미지 또는 비디오 데이터를 출력한다. 일 실시예로서, 스테레오스코픽 방식을 사용하여 3D 방송 서비스를 제공하는 경우, 2개의 시점에 대한 이미지 또는 비디오 데이터를 출력한다.

그리고 방송 송신기는 비디오 포매터를 사용하여 스테레오 비디오 데이터를 포매팅한다(S9010). 일 실시예로서, 방송 송신기는 스테레오 비디오 데이터를 멀티플랙싱 포맷에 따라서 리사이징을 수행하고, 멀티플렉싱하여 하나의 비디오 스트림으로 출력할 수 있다. 스테레오 비디오 데이터의 비디오 포매팅은 3D 방송 신호를 전송하는데 필요한 다양한 영상 처리(예를 들면, 리사이징, 데시메이션, 인터폴레이팅, 멀티플렉싱 등)를 포함한다.

방송 송신기는 3D 비디오 인코더를 사용하여 스테레오 비디오 데이터를 인코딩한다(S9020). 일 실시예로서, 방송 송신기는 스테레오 비디오 데이터를 JPEG, MPEG-2, MPEG-4, H.264/AVC, H.264/MVC 방식 등으로 인코딩할 수 있다.

방송 송신기는, SI 프로세서를 사용하여 3D 이미지 포맷 정보를 포함하는 시스템 정보를 생성한다(S9030). 3D 이미지 포맷 정보는 송신기에서 스테레오 비디오 데이터를 포매팅하는데 사용한 정보로서, 수신기에서 스테레오 비디오 데이터를 처리하여 출력하는데 필요한 정보들을 포함한다. 일 실시예로서, 3D 이미지 포맷 정보는 3D 비디오 데이터의 멀티플랙싱 포맷, 멀티플랙싱 포맷에 따른 레프트 이미지 및 라이트 이미지의 위치 및 스캔 방향, 멀티플랙싱 포맷에 따른 샘플링 정보 등을 포함할 수 있다. 일 실시예로서, 3D 이미지 포맷 정보는 시스템 정보 중 PSI/PSIP에 포함될 수 있으며, 각각 PSI의 PMT 및 PSIP의 VCT에 포함될 수 있다.

방송 송신기는, TS 멀티플렉서를 사용하여 3D 비디오 인코더에서 인코딩된 스테레오 비디오 데이터와 SI 프로세서에서 생성된 시스템 정보를 멀티플렉싱하고, 전송 유닛을 통해 전송할 수 있다(S9040).

도 10은 본 발명의 일 실시예에 따른 방송 수신기를 도시한 도면이다.

도 10의 방송 수신기는, 방송 신호를 수신하는 수신 유닛(10010), 방송 신호로부터 비디오 데이터, 시스템 정보 등의 데이터 스트림을 추출하여 출력하는 TS 디멀티플렉서(10020), 시스템 정보를 파싱하는 SI 프로세서(10030), 3D 비디오 데이터를 디코딩하는 3D 비디오 디코더(10040), 디코딩된 3D 비디오 데이터를 포매팅하여 출력하는 아웃풋 포매터(10050)를 포함한다. 실시예에 따라서, 수신 유닛(10010)은 튜너 및 디모듈레이터(10060) 및 VSB 디코더(10070)를 더 포함할 수 있다. 방송 수신기의 각 구성 요소의 동작은, 이하의 도면을 참조하여 설명하도록 한다.

도 11은 본 발명의 일 실시예에 따른 방송 수신기의 3D 비디오 데이터 처리 방법을 도시한 흐름도이다.

방송 수신기는 수신 유닛을 사용하여 스테레오 비디오 데이터 및 시스템 정보를 포함하는 방송 신호를 수신한다(S11010).

방송 수신기는 SI 프로세서를 사용하여 방송 신호에 포함된 시스템 정보를 파싱, 3D 이미지 포맷 정보를 획득한다(S11020). 일 실시예로서, 방송 수신기는 SI 프로세서를 사용하여 방송 신호에 포함된 PSI의 PMT 또는 PSIP의 VCT를 파싱하여 3D 이미지 포맷 정보를 획득할 수 있다. 3D 이미지 포맷 정보는 방송 수신기의 디코더 및 아웃풋 포매터에서 3D 비디오 데이터를 처리하는데 필요한 정보들이 포함된다. 일 실시예로서, 3D 이미지 포맷 정보는 3D 비디오 데이터의 멀티플랙싱 포맷, 멀티플랙싱 포맷에 따른 레프트 이미지 및 라이트 이미지의 위치 및 스캔 방향, 멀티플랙싱 포맷에 따른 샘플링 정보 등을 포함할 수 있다.

방송 수신기는 3D 비디오 디코더를 사용하여 스테레오 비디오 데이터를 디코딩한다(S10030). 이때 방송 수신기는 획득된 3D 이미지 포맷 정보를 사용하여 디코딩을 수행할 수 있다.

그리고 방송 수신기는, 아웃풋 포매터를 사용하여 디코딩된 스테레오 비디오 데이터를 포매팅하여 출력한다(S10040). 스테레오 비디오 데이터의 포매팅은, 수신된 스테레오 비디오 데이터를 3D 이미지 포맷 정보를 사용하여 처리하는 것을 포함한다. 또한, 수신된 스테레오 비디오 데이터의 멀티플렉싱 포맷과 디스플레이 디바이스가 지원하는 멀티플렉싱 포맷이 일치하지 않는 경우 및 비디오 데이터를 출력 형태가 상이한 경우(2D 출력 또는 3D 출력)에 따라 필요한 영상 처리를 수행할 수 있다.

이하에서는 방송 수신기의 스테레오 비디오 데이터 포매팅에 대해 상세히 설명하도록 한다.

먼저, 3D 이미지 포맷 정보를 TVCT를 통해 획득하는 경우 및 PMT를 통해 획득하는 경우의 방송 수신기의 동작에 대하여 설명한다.

(1) TVCT를 통해 3D 이미지 포맷 정보를 수신하는 경우

방송 수신기는 TVCT의 service_type 필드를 사용하여 해당 virtual channel에서의 3D 방송 서비스 제공 여부를 판단할 수 있다. 3D 방송 서비스를 제공하는 경우, 방송 수신기는 3D 이미지 포맷 정보(스테레오 포맷 디스크립터)를 사용하여 3D 스테레오 비디오의 elementary_PID 정보를 수신하고, 이 PID에 해당하는 3D 비디오 데이터를 수신하여 추출한다. 그리고 방송 수신기는, 3D 이미지 포맷 정보를 사용하여 3D 비디오 데이터에 대한 스테레오스코픽 이미지 구성 정보, 좌/우 배치, 좌/우 우선 출력, 좌/우 역스캔 여부, 리사이징 등에 대한 정보를 파악한다.

a) 2D 모드로 시청하는 경우에는 일단 3D 비디오 데이터를 디코딩한 후 LR_output_flag에 의해 지정된 view에 해당하는 비디오 데이터만을 추출하여 인터폴레이션/리사이징 등을 거쳐 디스플레이 디바이스로 출력한다.

b) 3D 모드로 시청하는 경우에는 3D 비디오 데이터를 디코딩한 후 3D 이미지 포맷 정보를 사용하여 디스플레이 출력을 제어한다. 이 과정에서 디스플레이 디바이스의 타입에 따라 리사이징, 리쉐이핑, 3D 포맷 컨버젼(conversion) 등을 수행하여 스테레오스코픽 이미지를 출력한다.

(2) PMT를 통해 3D 이미지 포맷 정보를 수신하는 경우

방송 수신기는 PMT의 stream_type 및 각 elementary stream에 해당하는 3D 이미지 포맷 정보(스테레오 포맷 디스크립터)의 존재를 파악한다. 이때, 3D 이미지 포맷 정보의 존재를 통해 해당 프로그램이 3D 방송 서비스를 제공하는지 판단할 수 있다. 3D 방송 서비스를 제공하는 경우, 방송 수신기는 3D 비디오 데이터에 해당하는 PID를 획득하고, 이 PID에 해당하는 3D 비디오 데이터를 수신하여 추출한다.

방송 수신기는 3D 이미지 포맷 정보를 통해 3D 비디오 데이터에 대한 스테레오스코픽 이미지 구성 정보, 좌/우 배치, 좌/우 우선 출력, 좌/우 역스캔여부, 리사이징 등에 대한 정보를 획득할 수 있다. 그리고 방송 수신기는 program_number 필드를 통해 TVCT를 통해 제공되는 정보와의 mapping을 수행한다(이 프로그램이 어느 virtual channel을 통해 제공되는지를 알 수 있음).

a) 2D 모드로 시청하는 경우에는 일단 3D 비디오 데이터를 디코딩한 후 LR_output_flag에 의해 지정된 view에 해당하는 비디오 데이터만을 추출하여 인터폴레이션/리사이징 등을 거쳐 디스플레이 디바이스로 출력한다.

b) 3D 모드로 시청하는 경우에는 3D 비디오 데이터를 디코딩한 후 3D 이미지 포맷 정보를 사용하여 디스플레이 출력을 제어한다. 이 과정에서 디스플레이 디바이스의 타입에 따라 리사이징, 리쉐이핑, 3D 포맷 컨버젼(conversion) 등을 수행하여 스테레오스코픽 이미지를 출력한다.

(3) 수신되는 3D 비디오 데이터의 멀티플렉싱 포맷과 디스플레이 디바이스가 지원하는 멀티플렉싱 포맷이 일치하지 않는 경우

수신되는 3D 비디오 데이터의 멀티플렉싱 포맷과 디스플레이 디바이스가 지원하는 멀티플렉싱 포맷이 상이할 수도 있다.

일 실시예로서, 수신되는 3D 비디오 데이터가 사이드바이사이드 포맷을 갖고 디스플레이 디바이스의 디스플레이 타입은 체커보드 출력만 지원할 수 있다. 이러한 경우, 방송 수신기는 3D 이미지 포맷 정보를 사용하여 아웃풋 포매터를 통해 수신한 3D 비디오 스트림을 샘플링 및 디코딩하여 체커보드 출력 신호로 변환하여 출력을 수행할 수 있다.

다른 일 실시예로서, 방송 수신기는 아웃풋 포매터를 통해 디스플레이 capacity/type에 따라, spatially multiplexed format(사이드바이사이드, 탑바텀, 라인 인터레이싱 등)의 출력을 위해 리사이징을 수행하여 포매팅을 수행하거나, temporally multiplexed format(frame sequential, field sequential 등)의 출력을 위해 리사이징을 수행하여 포매팅을 수행할 수 있다. 또한, 디스플레이 디바이스가 지원하는 프레임 레이트를 일치시키기 위하여 프레임 레이트 컨버젼을 수행할 수도 있다.

도 12는 본 발명의 일 실시예에 따라 수신된 3D 비디오 데이터를 3D 이미지 포맷 정보를 사용하여 2D 영상으로 출력하는 방송 수신기의 구성을 도시한 도면이다.

도 12에서, 방송 수신기는 레프트 이미지와 라이트 이미지가 하나의 프레임으로 구성된 3D 비디오 데이터를 3D 이미지 정보를 사용하여 레프트 이미지 및 라이트 이미지 중 하나의 이미지만으로 구성된 프레임을 재구성하여 2D 영상을 출력할 수 있다.

도 12의 좌측에서, stereo_composition_type 필드의 필드값에 따라 3D 비디오 데이터의 멀티플렉싱 포맷을 알 수 있다. 즉, 방송 수신기는 시스템 정보를 파싱하여 stereo_composition_type 필드의 필드값이 ‘0’ 이면 탑바텀 포맷, ‘1’이면 사이드바이사이드 포맷, ‘2’이면 horizontally interlaced 포맷, ‘3’이면 vertically interlaced 포맷, ‘4’이면 체커보드 포맷임을 식별할 수 있다.

우측의 도면에은, 방송 수신기의 아웃풋 포매터를 개념적으로 도시한 도면으로, 일 실시예에 있어서, 방송 수신기의 아웃풋 포매터는 스케일러(12010), 리쉐이퍼(12020), 메모리(12030), 포매터(12040)를 포함할 수 있다.

스케일러(12010)는 수신된 이미지에 대한 리사이징 및 인터폴레이팅을 수행한다. 예를 들어, 스케일러는 수신된 이미지의 포맷과 출력 이미지의 포맷에 따라 리사이징(예를 들어, 1/2 리사이징, 더블링(2/1 리사이징) 등 해상도 및 이미지의 사이즈에 따라 다양한 비율로 리사이징할 수 있다), quincunx 리버스샘플링을 수행할 수 있다. 리쉐이퍼(12020)는 수신된 이미지로부터 좌/우 이미지를 추출하여 메모리에 저장하거나 메모리로부터 판독한 이미지를 추출한다. 또한, 메모리에 저장되는 영상의 맵과 출력하는 영상의 맵이 다른 경우 리쉐이퍼(12020)는 메모리에 저장된 영상을 판독하여 출력할 영상으로 매핑시켜주는 역할을 수행할 수도 있다. 메모리(12030)는 수신한 영상을 저장 또는 버퍼링하였다가 출력한다. 포매터(12040)는 디스플레이할 영상 포맷에 따라 영상의 포맷을 변환시킨다. 예를 들면, 포매터(12040)는 탑바텀 포맷의 이미지를 인터레이스드 포맷으로 변환하는 등의 동작을 수행할 수 있다.

도 13내지 도 15는 본 발명의 일 실시예에 따라 수신된 3D 비디오 데이터를 2D 이미지로 출력하는 방법을 도시한 도면들이다.

도 13은 본 발명의 일 실시예에 따라 수신된 3D 비디오 데이터를 3D 이미지 포맷 정보를 사용하여 2D 영상으로 출력하는 방법을 도시한 도면이다.

도 13은, 스테레오 포맷 디스크립터의 각 필드의 필드값이 LR_first_flag = 0, LR_output_flag = 0, Left_flipping_flag = 0, Right_flipping_flag = 0, Sampling_flag = 1 인 경우의 방송 수신기의 동작을 나타낸다. 방송 수신기는 각 필드값에 따라, LR_first_flag 필드의 필드값이 ‘0’이므로 좌측 상단의 영상이 레프트 이미지이고, LR_output_flag 필드의 필드값이 ‘0’이므로 2D 이미지 출력시 레프트 이미지를 출력하며, Left_flipping_flag 필드 및 Right_flipping_flag 필드의 필드값이 모두 ‘0’이므로 이미지의 역스캔이 필요하지 않음을 알 수 있다. sampling_flag의 필드값은 ‘1’이므로 quincunx 샘플링이 수행되지 않았으며, 수평방향 또는 수직 방향으로 1/2 리사이징(예를 들면, 데시메이션)이 수행되었음을 알 수 있다.

탑바텀 포맷의 이미지(13010)를 수신한 경우(stereo_composition_type=0), 리쉐이퍼는 출력해야하는 상단의 레프트 이미지를 추출하여 메모리에 저장하고, 다시 메모리로부터 저장된 이미지를 판독하여 출력한다. 탑바텀 포맷의 이미지의 경우, 출력 이미지의 맵과 메모리에 저장되는 이미지의 맵이 일치하므로, 별도의 매핑을 요구하지 않을 수 있다. 그리고 스케일러는 상단의 이미지를 인터폴레이션 또는 vertically 2/1 리사이징을 수행하여, 풀 스크린의 레프트 이미지를 출력한다. 2D 이미지를 출력하는 경우, 이미지의 멀티플렉싱 포맷을 컨버젼할 필요가 없으므로, 포매터는 스케일러부터 수신한 이미지를 바이패스할 수 있다.

사이드바이사이드 포맷의 이미지(13020)를 수신한 경우(stereo_composition_type=1), 리쉐이퍼는 출력해야하는 좌측의 레프트 이미지를 추출하여 메모리에 저장하고, 다시 메모리로부터 저장된 이미지를 판독하여 출력한다. 사이드바이사이드 포맷의 이미지의 경우, 출력 이미지의 맵과 메모리에 저장되는 이미지의 맵이 일치하므로, 별도의 매핑을 요구하지 않을 수 있다. 그리고 스케일러는 죄측의 이미지를 인터폴레이션 또는 horizontally 2/1 리사이징을 수행하여, 풀 스크린의 레프트 이미지를 출력한다.

horizontally interlaced 포맷의 이미지(13030)를 수신한 경우(stereo_composition_type=2), 리쉐이퍼는 출력해야하는 레프트 이미지를 추출하여 메모리에 저장하고, 메모리로부터 저장된 이미지를 판독하여 출력한다. horizontally 인터레이스드 포맷의 이미지의 경우 출력되는 이미지는 인터레이스드 포맷이나, 메모리에 저장되는 경우는 저장 효율을 위해 인터레이싱된 화소들 사이의 빈 화소를 두지 않고 저장할 수 있다. 이러한 경우, 리쉐이퍼는 메모리에서 이미지를 판독하여 출력할 때 인터레이스드 이미지로 매핑을 수행하여 스케일러로 출력할 수 있다. 스케일러는 인터레이스드 포맷의 이미지에 대해 인터폴레이션 또는 2/1 리사이징을 수행하여, 풀 스크린의 이미지를 출력한다.

vertically interlaced 포맷의 이미지(13040)를 수신한 경우(stereo_composition_type=3), 리쉐이퍼는 출력해야하는 레프트 이미지를 추출하여 메모리에 저장하고, 메모리로부터 저장된 이미지를 판독하여 출력한다. vertically 인터레이스드 포맷의 이미지의 경우 출력되는 이미지는 인터레이스드 포맷이나, 메모리에 저장되는 경우는 저장 효율을 위해 인터레이싱된 화소들 사이의 빈 화소를 두지 않고 저장할 수 있다. 이러한 경우, 리쉐이퍼는 메모리에서 이미지를 판독하여 출력할 때 인터레이스드 포맷의 이미지로 매핑을 수행하여 스케일러로 출력할 수 있다. 스케일러는 인터레이스드 포맷의 이미지에 대해 인터폴레이션 또는 2/1 리사이징을 수행하여, 풀 스크린의 이미지를 출력한다.

체커보드 포맷의 이미지(13050)를 수신한 경우(stereo_composition_type=4), 리쉐이퍼는 출력해야하는 레프트 이미지를 추출하여 메모리에 저장하고, 메모리로부터 저장된 이미지를 판독하여 출력한다. 체커보드 포맷의 이미지의 경우 출력되는 이미지는 체커보드 포맷이나, 메모리에 저장되는 경우는 저장 효율을 위해 빈 화소를 두지 않고 저장할 수 있다. 이러한 경우, 리쉐이퍼는 메모리에서 이미지를 판독하여 출력할 때 체커보드 포맷의 이미지로 매핑을 수행하여 스케일러로 출력할 수 있다. 스케일러는 체커보드 포맷의 이미지에 대해 인터폴레이션 또는 2/1 리사이징을 수행하여, 풀 스크린의 이미지를 출력한다.

도 14는 본 발명의 다른 일 실시예에 따라 수신된 3D 비디오 데이터를 3D 이미지 포맷 정보를 사용하여 2D 영상으로 출력하는 방법을 도시한 도면이다.

도 14는, 스테레오 포맷 디스크립터의 각 필드의 필드값이 LR_first_flag = 0, LR_output_flag = 0, Left_flipping_flag = 1, Right_flipping_flag = 0, Sampling_flag = 1 인 경우의 방송 수신기의 동작을 나타낸다. 방송 수신기는 각 필드값에 따라, LR_first_flag 필드의 필드값이 ‘0’이므로 좌측 상단의 영상이 레프트 이미지이고, LR_output_flag 필드의 필드값이 ‘0’이므로 2D 이미지 출력시 레프트 이미지를 출력하며, Left_flipping_flag 필드의 필드값이 ‘1’이므로 레프트 이미지의 역스캔이 필요함을 알 수있다. Right_flipping_flag 필드의 필드값은 ‘0’이고, 또한 2D 이미지를 출력하는 경우 레프트 이미지를 출력할 것이므로 수신 시스템에 따라 라이트 이미지는 정방향으로 스캔하거나, 스캔하지 않을 수도 있다. sampling_flag의 필드값은 ‘1’이므로 quincunx 샘플링이 수행되지 않았으며, 수평방향 또는 수직 방향으로 1/2 리사이징(예를 들면, 데시메이션)이 수행되었음을 알 수 있다.

탑바텀 포맷의 이미지(14010)를 수신한 경우(stereo_composition_type=0), 리쉐이퍼는 출력해야하는 상단의 레프트 이미지를 추출하여 메모리에 저장하고, 다시 메모리로부터 저장된 이미지를 판독하여 출력한다. 이때 Left_flipping_flag 필드의 필드값이 ‘1’이므로 레프트 이미지를 판독하여 저장할 때 역방향으로 이미지를 스캔한다. 그리고 스케일러는 상단의 이미지를 vertically 2/1 리사이징을 수행하여, 풀 스크린의 레프트 이미지를 출력한다. 2D 이미지를 출력하는 경우, 이미지의 멀티플렉싱 포맷을 컨버젼할 필요가 없으므로, 포매터는 스케일러부터 수신한 이미지를 바이패스할 수 있다.

사이드바이사이드 포맷의 이미지(14020)를 수신한 경우(stereo_composition_type=1), 리쉐이퍼는 출력해야하는 좌측의 레프트 이미지를 추출하여 메모리에 저장하고, 다시 메모리로부터 저장된 이미지를 판독하여 출력한다. 이때 Left_flipping_flag 필드의 필드값이 ‘1’이므로 레프트 이미지를 판독하여 저장할 때 역방향으로 이미지를 스캔한다. 그리고 스케일러는 죄측의 이미지를 horizontally 2/1 리사이징을 수행하여, 풀 스크린의 레프트 이미지를 출력한다.

도 14에서, horizontally interlaced 포맷(14030), vertically interlaced 포맷(14040), 체커보드 포맷(14050)의 경우 시스템 구현의 실시예에 따라 방송 수신기는 Left_flipping_flag 필드 및 Right_flipping_flag 필드는 무시하고 처리하므로, 도 13에서 도시한 horizontally interlaced 포맷(13030), vertically interlaced 포맷(13040), 체커보드 포맷(13050)의 경우와 동일한 방법으로 비디오 데이터 처리를 수행한다. 관련된 동일한 설명은 생략하기로 한다. 다만, 시스템 구현의 실시예에 따라 멀티플렉싱 포맷과 별도로 Left_flipping_flag 필드 및 Right_flipping_flag 필드를 사용하여 이미지의 역스캔 여부를 결정할 수 있음은 상술한 바와 같다.

도 15는 본 발명의 다른 일 실시예에 따라 수신된 3D 비디오 데이터를 3D 이미지 포맷 정보를 사용하여 2D 영상으로 출력하는 방법을 도시한 도면이다.

도 15는, 스테레오 포맷 디스크립터의 각 필드의 필드값이 LR_first_flag = 0, LR_output_flag = 0, Left_flipping_flag = 0, Right_flipping_flag = 0, Sampling_flag = 1 인 경우의 방송 수신기의 동작을 나타낸다. 방송 수신기는 각 필드값에 따라, LR_first_flag 필드의 필드값이 ‘0’이므로 좌측 상단의 영상이 레프트 이미지이고, LR_output_flag 필드의 필드값이 ‘0’이므로 2D 이미지 출력시 레프트 이미지를 출력하며, Left_flipping_flag 필드의 필드값이 ‘0’이므로 레프트 이미지의 역스캔이 필요하지 않음을 알 수 있다. sampling_flag의 필드값은 ‘0’이므로 quincunx 샘플링이 수행되었음을 알 수 있다.

수신기에서 탑바텀 포맷의 이미지(15010) 또는 사이드바이사이드 포맷의 이미지(15020)를 수신하여 리쉐이퍼에서 레프트 이미지를 판독하여 저장하는 할 수 있다. 이때 메모리에 저장된 이미지를 리쉐이퍼에서 판독하는 경우, 판독된 이미지는 수직방향으로 1/2 리사이징된 이미지 또는 수평방향으로 1/2 리사이징된 이미지가 아닌 체커보드와 같은 이미지를 판독하게 된다. 따라서 리쉐이퍼는 메모리로부터 레프트 이미지를 판독하는 경우 quincunx 샘플링된 체커보드 형태의 이미지를 매핑하여 출력한다. 스케일러는 체커보드 형태의 이미지를 수신하여 quincunx 리버스샘플링을 수행하여 풀 스크린의 레프트 이미지를 출력할 수 있다.

도 16은, 본 발명의 일 실시예에 따라 quincunx 샘플링을 사용하는 3D 비디오 데이터 처리 방법을 도시한 도면이다.

도 16에서 상단의 도면은 송신기의 encoder side에서의 이미지 프로세싱을 나타내며, 하단의 도면은 수신기의 decoder side에서의 이미지 프로세싱을 나타낸다.

먼저, 방송 송신기는 사이드바이사이드 포맷의 이미지 전송을 위해 각각 풀스크린의 레프트 이미지(16010)와 라이트 이미지(16020)를 quincunx 샘플링하며, 샘플링된 레프트 이미지(16030) 및 샘플링된 라이트 이미지(16040)를 획득한다. 방송 송신기는 샘플링된 레프트 이미지(16030) 및 샘플링된 라이트 이미지(16040)를 각각 픽셀쉬프팅하여, 1/2 스크린으로 리사이징된 레프트 이미지(16050) 및 1/2 스크린으로 리사이징된 라이트 이미지(16060)를 획득한다. 리사이징된 이미지들(16050, 16060)를 하나의 스크린으로 구성하여, 전송할 사이드바이사이드 포맷의 이미지(16070)를 획득하게 된다. 도 16의 실시예에서는 사이드바이사이드 포맷을 예로 설명하며, 사이드바이사이드 포맷의 이미지를 획득하기 위해 quincunx 샘플링된 이미지를 수평방향으로 픽셀 쉬프팅하였으나, 탑바텀 포맷의 이미지를 획득하는 경우라면 quincunx 샘플링된 이미지를 수직방향으로 픽셀 쉬프팅하여 이미지를 구성할 수 있을 것이다.

이제, 방송 수신기는 탑바텀 포맷의 이미지(16080)를 수신한다. 그리고, 3D 이미지 포맷 정보의 sampling_flag 필드의 필드값이 ‘0’이므로 송신기에서 quincunx 샘플링이 수행되었음을 알 수 있다. 따라서 방송 수신기는 수신된 탑바텀 포맷의 이미지(16080)를 스캔하여 픽셀 쉬프팅할 때 quincunx 샘플링이 수행된 것과 같은 형상의 이미지들(16090, 16100)로 출력하고, 인터폴레이팅 수행시 quincunx 리버스 샘플링을 수행하여 풀 스크린의 레프트 이미지(16110)와 풀 스크린의 라이트 이미지(16020)를 획득할 수 있다.

도 17 및 도 18의 실시예는, 방송 수신기에서 3D 이미지 포맷 정보를 사용하여 수신된 멀티플랙싱 포맷과 다른 멀티플랙싱 포맷으로 포맷 컨버젼을 수행하여 출력하는 방법을 나타낸다.

도 17은, 본 발명의 일 실시예에 따라 3D 이미지 포맷 정보를 사용하여 수신된 영상의 멀티플랙싱 포맷을 변환하여 출력하는 방송 수신기의 구성을 도시한 도면이다.

도 17의 경우 도 12와 동일한 설명은 생략하기로 한다. 도 12와 관련 실시예의 경우, 2D 이미지(한 시점의 이미지로 구성된 프레임)를 출력하므로 포매터는 수신한 이미지를 그대로 출력하였으나, 도 17의 경우, 포매터는 수신된 3D 비디오 데이터를 처리하여 디스플레이 장비 또는 방송 수신기에서 지정한 출력 포맷으로 변환하는 역할을 수행한다.

도 18은, 본 발명의 일 실시예에 따라 3D 이미지 포맷 정보를 사용하여 수신된 영상의 멀티플랙싱 포맷을 변환하여 출력하는 방송 수신기의 비디오 데이터 처리 방법을 도시한 도면이다.

먼저, 수신된 3D 이미지의 멀티플렉싱 포맷이 사이드바이사이드 포맷이고, 출력 포맷이 horizontally interlaced 포맷인 경우의 실시예를 설명한다. 3D 이미지 포맷 정보에서 각 필드의 필드값은, LR_first_flag = 0, LR_output_flag = 0, stereo_composition_type=1, Left_flipping_flag = 0, Right_flipping_flag = 0, Sampling_flag = 0 이다.

스케일러는 수신한 사이드바이사이트 포맷의 이미지(18010)를 vertically 1/2 리사이징하여 출력하고, 리쉐이퍼는 출력된 이미지를 메모리에 저장한후 탑바텀 포맷으로 스캔하여 출력한다. 스케일러는, 탑바텀 방식으로 수신한 이미지에 대해 horizontally 2/1 리사이징을 수행하고, 포매터는 수신한 풀 스크린의 탑바텀 포맷의 이미지를 horizontally interlaced 포맷으로 변환하여 출력한다.

다음으로, 수신된 3D 이미지의 멀티플렉싱 포맷이 사이드바이사이드 포맷이고, 출력 포맷이 체커보드 포맷인 경우의 실시예를 설명한다. 3D 이미지 포맷 정보에서 각 필드의 필드값은, LR_first_flag = 0, LR_output_flag = 0, stereo_composition_type=1, Left_flipping_flag = 0, Right_flipping_flag = 0, Sampling_flag = 0 이다.

체커보드 포맷의 경우 사이드바이사이드 포맷 또는 탑바텀 포맷의 이미지와 같이 1/2 리사이징된 이미지(18020)를 수신하면 이를 포맷 컨버젼만 수행하면 된다. 즉, 수신한 사이드바이사이드 포맷의 이미지(18020)에 스케일러, 리쉐이퍼의 별도의 이미지 처리 없이, 포매터에서 멀티플랙싱 포맷만을 컨버팅하여 출력한다. 또는, 실시예에 따라 수신한 사이드바이사이드 포맷의 이미지에서 레프트 이미지 및 라이트 이미지를 각각 판독하여 2/1 리사이징을 수행하고, 풀스크린의 레프트 이미지 및 라이트 이미지를 체커보드 포맷으로 각각 1/2 다운샘플링하여 두 영상을 믹싱할 수도 있다.

마지막으로, 수신된 3D 이미지의 멀티플렉싱 포맷이 체커보드 포맷이고, 출력 포맷이 horizontally interlaced 포맷인 경우의 실시예를 설명한다. 3D 이미지 포맷 정보에서 각 필드의 필드값은, LR_first_flag = 0, LR_output_flag = 0, stereo_composition_type=4, Left_flipping_flag = 0, Right_flipping_flag = 0, Sampling_flag = 0 이다.

체커보드 포맷의 이미지(18030)를 수신한 경우, 리쉐이퍼는 이미지를 스캔하여 horizontally 1/2 사이즈의 탑바텀 포맷의 이미지로 리쉐이핑하고, 메모리에 저장한 후, 출력한다. 스케일러는 수신한 1/2 사이즈의 탑바텀 포맷의 영상에 대해 horizontally 2/1 리사이징을 수행하여 풀 스크린의 탑바텀 포맷 이미지를 출력한다. 포매터는 풀 스크린의 탑바텀 포맷을 포맷 컨버팅하여 horizontally interlaced 포맷의 이미지를 출력한다.

본 발명에 따른 방법 발명은 모두 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

1. 3D 비디오 데이터를 포맷팅하는 단계;
   상기 3D 비디오 데이터에 관한 정보를 포함하는 시그널링 데이터를 생성하는 단계;
   상기 포맷팅된 3D 비디오 데이터와 상기 생성된 시그널링 데이터를 인코딩하는 단계; 및
   상기 인코딩된 3D 비디오 데이터와 상기 시그널링 데이터를 포함하는 방송 신호를 생성하는 단계;
   를 포함하며,
   상기 시그널링 데이터는 3D 이미지를 위한 좌 이미지 또는 우 이미지가 역방향 (reverse direction) 으로 포맷팅되었는지 나타내는 제 1 정보를 포함하는 것을 특징으로 하는 3D 비디오 데이터를 처리하는 방법.
2. 제 1 항에 있어서,
   상기 시그널링 데이터는,
   상기 포맷팅된 3D 비디오 데이터의 포맷이, side-by-side 포맷 또는 Top-and bottom 포맷임을 식별하는 제 2 정보를 더 포함하는 것을 특징으로 하는 3D 비디오 데이터를 처리하는 방법.
3. 제 1 항에 있어서,
   상기 시그널링 데이터는,
   상기 좌 이미지 또는 상기 우 이미지 중 어느 이미지가 2D 서비스를 위하여 사용되는지를 나타내는 제 4 정보를 더 포함하는 것을 특징으로 하는 3D 비디오 데이터를 처리하는 방법.
4. 3D 비디오 데이터를 포맷팅하는 비디오 포맷터;
   상기 3D 비디오 데이터에 관한 정보를 포함하는 시그널링 데이터를 생성하는 시그널링 데이터 프로세서;
   상기 포맷팅된 3D 비디오 데이터와 상기 생성된 시그널링 데이터를 인코딩하는 인코더; 및
   상기 인코딩된 3D 비디오 데이터와 상기 시그널링 데이터를 포함하는 방송 신호를 생성하는 방송 신호 생성 유닛;
   를 포함하며,
   상기 시그널링 데이터는 3D 이미지를 위한 좌 이미지 또는 우 이미지가 역방향 (reverse direction) 으로 포맷팅되었는지 나타내는 제 1 정보를 포함하는 것을 특징으로 하는 3D 비디오 데이터를 처리하는 장치.
5. 제 4 항에 있어서,
   상기 시그널링 데이터는,
   상기 포맷팅된 3D 비디오 데이터의 포맷이, side-by-side 포맷 또는 Top-and bottom 포맷임을 식별하는 제 2 정보를 더 포함하는 것을 특징으로 하는 3D 비디오 데이터를 처리하는 장치.
6. 제 4 항에 있어서,
   상기 시그널링 데이터는,
   상기 좌 이미지 또는 상기 우 이미지 중 어느 이미지가 2D 서비스를 위하여 사용되는지를 나타내는 제 4 정보를 더 포함하는 것을 특징으로 하는 3D 비디오 데이터를 처리하는 장치.
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제

Images