KR102269311B1

KR102269311B1 - 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Info

Publication number: KR102269311B1
Application number: KR1020157035471A
Authority: KR
Inventors: 이쿠오 츠카고시
Original assignee: 소니그룹주식회사
Priority date: 2013-07-05
Filing date: 2014-06-16
Publication date: 2021-06-28
Also published as: EP3018910A4; BR112015032851B1; CN105340281A; EP3018910A1; US20160373789A1; CN105340281B; WO2015001947A1; EP3018910B1; US20200288182A1; RU2652099C2; KR20160030104A; RU2015156234A; US11330311B2; BR112015032851A2; JP6462566B2; JPWO2015001947A1

Abstract

본 발명은, 다화상 배치의 배신 서비스를 양호하게 행할 수 있도록 한다. 송신측은, 다화상 배치의 배신 서비스에 관한 복수의 화상의 부호화 화상 데이터를 포함하는, 소정 수의 비디오 스트림을 갖는 소정 포맷의 컨테이너를 송신한다. 그 때, 비디오 스트림의 레이어에, 복수의 화상의 배치 위치를 나타내는 위치 정보를 삽입한다. 수신측은, 소정 수의 비디오 스트림을 수신하여 디코딩하고, 복수의 화상의 화상 데이터를 얻는다. 이 복수의 화상의 화상 데이터를 위치 정보에 기초해서 배치하여, 그룹 픽처(다화상 배치 화상)의 화상 데이터를 얻는다.

Description

송신 장치, 송신 방법, 수신 장치 및 수신 방법{TRANSMISSION DEVICE, TRANSMISSION METHOD, RECEPTION DEVICE, AND RECEPTION METHOD}

본 기술은, 송신 장치, 송신 방법, 수신 장치 및 수신 방법에 관한 것으로, 특히, 다화상 배치의 배신 서비스를 행하기 위한 송신 장치 등에 관한 것이다.

방송이나 네트워크로부터의 복수의 스트림을 멀티 디코드하고, 멀티 디코드에 의해 얻어진 복수의 화상을 하나의 디스플레이에 표시시키는 멀티 화면 표시에 관한 기술이 실현 또는 제안되어 있다.

예를 들어, 소위 PinP(Picture in Picture)의 형태로 복수의 화상이 표시됨으로써, 유저는, 서브 화면에 작게 표시되는 다른 채널의 프로그램의 화상을 보면서, 메인 화면에 크게 표시되는 어떤 채널의 프로그램의 화상을 볼 수 있다. 또한, 예를 들어 디스플레이의 우측 절반과 좌측 절반에 상이한 채널의 프로그램의 화상이 배열되어 표시됨으로써, 유저는, 2개의 채널의 프로그램의 화상을 동시에 볼 수 있다.

예를 들어, 특허문헌 1에는, 통상 표시의 상태에 있어서 멀티 화면의 표시가 지시된 경우, 멀티 화면에 대한 표시의 전환을 신속히 행할 수 있도록 한 기술이 개시되어 있다.

일본 특허 공개 제2000-13712호 공보

예를 들어, 송신측으로부터 다화상 배치에 관한 복수의 화상의 화상 데이터를 보내고, 수신측에서는 이 복수의 화상 데이터를 처리하여 다화상 배치 화상을 얻어, 표시를 행하는 것을 생각할 수 있다. 이 경우, 수신측에서는 복수의 화상의 배치를 적절하게 행하는 것이 필요해진다.

본 기술의 목적은, 다화상 배치의 배신 서비스를 양호하게 행할 수 있도록 하는 데 있다.

본 기술의 개념은,

다화상 배치의 배신 서비스에 관한 복수의 화상의 부호화 화상 데이터를 포함하는, 소정 수의 비디오 스트림을 갖는 소정 포맷의 컨테이너를 송신하는 송신부와,

상기 비디오 스트림의 레이어에, 상기 복수의 화상의 배치 위치를 나타내는 위치 정보를 삽입하는 정보 삽입부를 구비하는

송신 장치에 있다.

본 기술에 있어서, 송신부에 의해, 다화상 배치의 배신 서비스에 관한 복수의 화상의 부호화 화상 데이터를 포함하는, 소정 수의 비디오 스트림을 갖는 소정 포맷의 컨테이너가 송신된다. 예를 들어, 컨테이너는, 디지털 방송 규격으로 채용되어 있는 트랜스포트 스트림(MPEG-2TS)이어도 된다. 또한, 예를 들어 컨테이너는, 인터넷의 배신 등에서 사용되는 MP4, 또는 MMT 등 그 이외의 포맷의 컨테이너여도 된다. 정보 삽입부에 의해, 비디오 스트림의 레이어에, 복수의 화상의 배치 위치를 나타내는 위치 정보가 삽입된다.

이렇게 본 기술에 있어서는, 비디오 스트림의 레이어에 복수의 화상의 배치 위치를 나타내는 위치 정보가 삽입되는 것이며, 수신측에서는 복수의 화상의 배치를 적절하게 행하는 것이 용이하게 가능하게 된다.

또한, 본 기술에 있어서, 예를 들어 정보 삽입부는, 복수의 화상의 표시 타이밍을 조정하기 위한 오프셋 정보를, 비디오 스트림의 레이어에 더 삽입하는 것이어도 된다. 이에 의해, 수신측에서는, 다화상 배치 화상을 구성하는 복수의 화상의 표시 타이밍을 조정하여, 이들 복수의 화상의 표시 개시 타이밍을 일치시키는 것이 가능하게 된다.

또한, 본 기술에 있어서, 예를 들어 정보 삽입부는, 다화상 배치의 타입을 나타내는 타입 정보를, 비디오 스트림의 레이어에 더 삽입하는 것이어도 된다. 이에 의해, 수신측에서는, 다화상 배치의 타입을 적확하게 인식할 수 있어, 복수의 화상의 배치를 적절하게 행하는 것이 용이하게 가능하게 된다. 또한, 본 기술에 있어서, 예를 들어 정보 삽입부는, 복수의 화상의 표시 가능한 시간이 제어되는지 여부를 나타내는 라이프 타임 정보를, 비디오 스트림의 레이어에 더 삽입하는 것이어도 된다. 이 정보에 의해, 수신측에서는, 예를 들어 가상 디스플레이 버퍼 내에 축적되어 있는 화상 데이터의 삭제 제어를 자동으로 행하는 것이 가능하게 된다.

또한, 본 기술에 있어서, 예를 들어 정보 삽입부는, 복수의 화상의 표시 시의 로테이션 타입을 나타내는 타입 정보를, 상기 비디오 스트림의 레이어에 더 삽입하는 것이어도 된다. 이에 의해, 복수의 화상을, 서비스측이 의도한 회전 상태로 표시시키는 것이 가능하게 된다.

또한, 본 기술에 있어서, 예를 들어 정보 삽입부는, 컨테이너의 레이어에, 다화상 배치의 배신 서비스임을 식별하는 식별 정보를 더 삽입하는 것이어도 된다. 이에 의해, 수신측에서는, 다화상 배치의 배신 서비스임을 용이하게 인식할 수 있어, 그 처리를 위한 준비를 행하는 것이 가능하게 된다. 이 경우, 예를 들어 정보 삽입부는, 컨테이너의 레이어에, 다화상 배치의 배신 서비스가, 동화상 정지 화상의 혼재 서비스인지 여부를 식별하는 식별 정보를 더 삽입하는 것이어도 된다.

또한, 본 기술에 있어서, 예를 들어 정보 삽입부는, 컨테이너의 레이어에, 다화상 배치의 배신 서비스에 관여하는 비디오 스트림의 총수의 정보를 더 삽입하는 것이어도 된다. 이에 의해, 수신측에서는, 처리해야 할 비디오 스트림의 총수를 용이하게 파악할 수 있어, 적절한 처리가 가능하게 된다.

또한, 본 기술에 있어서, 예를 들어 정보 삽입부는, 컨테이너의 레이어에, 각 비디오 스트림이 동화상 스트림인지, 정지 화상 스트림인지, 또는 정지 화상 동화상 혼재의 혼재 스트림인지를 나타내는 타입 정보를 더 삽입하도록 되어 있어도 된다. 이에 의해, 수신측에서는, 비디오 스트림의 스트림 타입을 용이하게 파악할 수 있어, 적절한 처리를 행하는 것이 가능하게 된다.

또한, 본 기술의 개념은,

다화상 배치의 배신 서비스에 관한 복수의 화상의 부호화 화상 데이터를 포함하고, 상기 복수의 화상의 배치 위치를 나타내는 위치 정보가 삽입되어 있는 소정 수의 비디오 스트림을 수신하는 수신부와,

상기 소정 수의 비디오 스트림을 디코딩하여 상기 복수의 화상의 화상 데이터를 얻는 디코드부와,

상기 디코드 후의 복수의 화상의 화상 데이터를 상기 위치 정보에 기초하여 배치하여 다화상 배치 화상의 화상 데이터를 얻는 처리부를 구비하는

수신 장치에 있다.

본 기술에 있어서, 수신부에 의해, 다화상 배치의 배신 서비스에 관한 복수의 화상의 부호화 화상 데이터를 포함하고, 이 복수의 화상의 배치 위치를 나타내는 위치 정보가 삽입되어 있는 소정 수의 비디오 스트림이 수신된다. 디코드부에 의해, 소정 수의 비디오 스트림이 디코딩되어, 복수의 화상의 화상 데이터가 얻어진다.

그리고, 처리부에 의해, 디코드 후의 복수의 화상의 화상 데이터가 위치 정보에 기초하여 배치되어 다화상 배치 화상의 화상 데이터가 얻어진다. 예를 들어, 디코드부에서 얻어진 복수의 화상의 화상 데이터를 일시적으로 축적하는 디코디드 버퍼와, 다화상 배치의 화상 데이터를 일시적으로 축적하는 가상 디스플레이 버퍼를 더 구비하고, 처리부는, 디코디드 버퍼로부터 상기 복수의 화상의 화상 데이터를 순차 판독하고, 가상 디스플레이 버퍼의 상기 위치 정보가 나타내는 배치 위치에 따른 영역에 기입하는 것이어도 된다.

이렇게 본 기술에 있어서는, 디코드 후의 복수의 화상의 화상 데이터가 위치 정보에 기초하여 배치되고, 다화상 배치 화상의 화상 데이터가 얻어지는 것이다. 따라서, 다화상 배치 화상의 화상 데이터를 효율적으로, 또한 적절하게 얻는 것이 가능하게 된다.

또한, 본 기술에 있어서, 예를 들어 가상 디스플레이 버퍼로부터 다화상 배치 화상의 일부 또는 전부의 표시 영역에 대응한 화상 데이터를 판독하고, 이 표시 영역의 화상을 표시하는 표시 제어부를 더 구비하는 것이어도 된다. 이 경우, 예를 들어 표시 제어부에 표시 영역을 지시하는 유저 조작부를 더 구비하는 것이어도 된다. 이에 의해, 예를 들어 디스플레이에 표시되는 화상을 변화시킬 수 있고, 사이즈(해상도)가 작은 디스플레이에 예를 들어 유저 조작에 기초하여 사이즈가 큰 다화상 배치 화상을 스크롤하여 표시하는 것도 가능하게 된다. 또한, 이 경우, 예를 들어 표시 제어부에 표시 영역의 화상을 표시하는 디스플레이의 수를 지정하는 유저 조작부를 더 구비하는 것이어도 된다.

또한, 본 기술에 있어서, 예를 들어 소정 수의 비디오 스트림의 송신 정지 및 재개의 요구를 송신측에 보내는 요구 송신부를 더 구비하는 것이어도 된다. 이에 의해, 예를 들어 화상 데이터를 일시적으로 축적해 두는 버퍼를 오버플로우시키는 일 없이, 정지 화상인 다화상 배치 화상을, 유저의 타이밍에 열람하는 것이 가능하게 된다.

또한, 본 기술의 다른 개념은,

배신 서버가 네트워크를 통하여 배신 가능한 다화상 배치의 배신 서비스에 관한 복수의 화상의 부호화 화상 데이터를 포함하는, 소정 수의 비디오 스트림을 클라이언트 단말기가 취득하기 위한 정보를 갖는 메타 파일을 생성하는 메타 파일 생성부와,

상기 클라이언트 단말기로부터 송신 요구가 있을 때, 상기 네트워크를 통해서, 상기 클라이언트 단말기에, 상기 생성된 메타 파일을 송신하는 메타 파일 송신 부를 구비하고,

상기 비디오 스트림의 레이어에, 상기 복수의 화상의 배치 위치를 나타내는 위치 정보가 삽입되어 있고,

상기 메타 파일 생성부는, 상기 메타 파일에, 상기 소정 수의 비디오 스트림을 항상 읽는 것을 나타내는 정보를 포함하는

송신 장치에 있다.

본 기술에 있어서, 메타 파일 생성부에 의해, 소정 수의 비디오 스트림을 클라이언트 단말기가 취득하기 위한 정보를 갖는 메타 파일이 생성된다. 이 소정 수의 비디오 스트림에는, 배신 서버가 네트워크를 통하여 배신 가능한 다화상 배치의 배신 서비스에 관한 복수의 화상의 부호화 화상 데이터가 포함된다. 이 경우, 비디오 스트림의 레이어에는, 복수의 화상의 배치 위치를 나타내는 위치 정보가 삽입되어 있다.

메타 파일 송신부에 의해, 클라이언트 단말기로부터 송신 요구가 있을 때, 네트워크를 통해서, 이 클라이언트 단말기에 메타 파일이 송신된다. 이 메타 파일에는, 메타 파일 생성부에 의해, 소정 수의 비디오 스트림을 항상 읽는 것을 나타내는 정보가 포함된다.

이렇게 본 기술에 있어서는, 메타 파일에는, 소정 수의 비디오 스트림을 항상 읽는 것을 나타내는 정보가 포함된다. 그로 인해, 수신측에서는, 이 메타 파일의 정보에 기초하여 소정 수의 비디오 스트림을 항상 읽게 되므로, 다화상 배치 화상의 화상 데이터를 양호하게 얻는 것이 가능하게 된다.

또한, 본 기술에 있어서, 예를 들어 메타 파일 생성부는, 메타 파일에, 소정 수의 비디오 스트림이 정지 화상 스트림인지 동화상 스트림인지를 식별하는 식별 정보를 더 포함하는 것이어도 된다. 이에 의해, 클라이언트 단말기는, 소정 수의 비디오 스트림이 정지 화상 스트림인지 동화상 스트림인지를 용이하게 판별 가능하게 된다.

본 기술에 의하면, 다화상 배치의 배신 서비스를 양호하게 행할 수 있다. 또한, 여기에 기재된 효과는 반드시 한정되는 것은 아니며, 본 개시 중에 기재된 어느 하나의 효과여도 된다.

도 1은 실시 형태로서의 배신 시스템의 구성예를 도시하는 블록도이다.
도 2는 수평·수직 방향 2차원 다화상 배치의 일례를 도시하는 도면이다.
도 3은 수평 방향 1차원 다화상 배치의 일례를 도시하는 도면이다.
도 4는 정지 화상에 의한 그룹 픽처의 예를 도시하는 도면이다.
도 5는 동화상에 의한 그룹 픽처의 예를 도시하는 도면이다.
도 6은 동화상에 의한 그룹 픽처의 예를 도시하는 도면이다.
도 7은 정지 화상·동화상에 의한 그룹 픽처의 예를 도시하는 도면이다.
도 8은 정지 화상(Still picture) 서비스의 단일 스트림에 의한 배신 예를 도시하는 도면이다.
도 9는 정지 화상(Still picture) 서비스의 복수 스트림에 의한 배신 예를 도시하는 도면이다.
도 10은 정지 화상(Still picture), 동화상(Moving picture)의 혼재 서비스의 단일 스트림에 의한 배신 예를 도시하는 도면이다.
도 11은 트랜스포트 스트림을 생성하는 송신 데이터 생성부의 구성예를 도시하는 블록도이다.
도 12는 단일 스트림에 의한 배신을 행하는 경우의 트랜스포트 스트림의 구성예를 도시하는 도면이다.
도 13은 복수 스트림에 의한 배신을 행하는 경우의 트랜스포트 스트림의 구성예를 도시하는 도면이다.
도 14는 그룹 픽처 태그 SEI(Group_picture_tag SEI)의 구조예(Syntax)를 도시하는 도면이다.
도 15는 그룹 픽처 태그 SEI의 구조예에 있어서의 주요한 정보의 내용(Semantics)을 도시하는 도면이다.
도 16은 「display_coordinate」에 의한 표시 시의 로테이션의 일례를 도시하는 도면이다.
도 17은 그룹 픽처를 구성하는 각 화상의 표시 타이밍 CTP의 산출예를 도시하는 도면이다.
도 18은 그룹 픽처 태그 SEI의 각종 정보의 시간적 변천의 일례를 도시하는 도면이다.
도 19는 멀티 스트림 서비스 디스크립터(multi_stream_service_descriptor)의 구조예(Syntax)를 도시하는 도면이다.
도 20은 멀티 스트림 서비스 디스크립터의 구조예에 있어서의 주요한 정보의 내용(Semantics)을 도시하는 도면이다.
도 21은 믹스트 스트림 디스크립터(mixed_stream_descriptor)의 구조예(Syntax)와 그 주요한 정보의 내용(Semantics)을 도시하는 도면이다.
도 22는 픽처 라이프 타임 디스크립터(Picture_lifetime_descriptor)의 구조예(Syntax)와 그 주요한 정보의 내용(Semantics)을 도시하는 도면이다.
도 23은 가상 디스플레이(Virtual Display) 상의 화상과 표시 영역과의 관계의 일례를 도시하는 도면이다.
도 24는 가상 디스플레이 상에 있어서의 표시 영역의 위치 및 크기의 일례를 도시하는 도면이다.
도 25는 가상 디스플레이(Virtual Display) 상의 화상과 표시 영역과의 관계의 일례를 도시하는 도면이다.
도 26은 가상 디스플레이 상에 있어서의 표시 영역의 위치 및 크기의 일례를 도시하는 도면이다.
도 27은 파노라마 화상을 표시하기 위한 디스플레이의 구성예를 도시하는 도면이다.
도 28은 그룹 픽처가 수평 방향으로 연속된 7개의 화상으로 구성되어 있는 경우에 있어서의 표시 영역의 지정예를 도시하는 도면이다.
도 29는 DASH 베이스의 스트림 배신 시스템의 구성예를 도시하는 블록도이다.
도 30은 MPD 파일의 계층 구조를 도시하는 도면이다.
도 31은 MPD 파일에 계층적으로 배치되어 있는 각 구조체의 관계의 일례를 도시하는 도면이다.
도 32는 콘텐츠로부터 DASH 세그먼트나 DASH MPD 파일을 생성할 때까지의 플로우의 일례를 도시하는 도면이다.
도 33은 스트림 배신 시스템을 구성하는 IPTV 클라이언트의 구성예를 도시하는 도면이다.
도 34는 일반적인, DASH 베이스의 스트림 배신 시스템의 계를 도시하는 도면이다.
도 35는 비디오 스트림을 포함하는 FragmentedMP4 스트림의 구성예를 도시하는 도면이다.
도 36은 다화상 배치의 배신 서비스에 있어서의 MPD 파일의 기술 예를 도시하는 도면이다.
도 37은 다화상 배치의 배신 서비스에 있어서의 MPD 파일의 기술 예를 도시하는 도면이다.

이하, 발명을 실시하기 위한 구체적인 내용(이하, 「실시 형태」라고 함)에 대하여 설명한다. 또한, 설명을 이하의 순서로 행한다.

1. 실시 형태

2. 변형예

<1. 실시 형태>

[배신 시스템의 구성예]

도 1은 배신 시스템(10)의 구성예를 도시하고 있다. 이 배신 시스템(10)에 있어서, 송신측에는 방송국(110), 넷 배신 서버(120) 및 NTP(Network Time Protocol) 배신 서버(130)가 배치되고, 수신측에는 수신기(200)가 배치되어 있다.

방송국(110)은, RF 전송로를 통해서, 정지 화상, 동화상의 리니어 서비스, 또는 정지 화상, 동화상의 다운로드 서비스를 행한다. 방송국(110)은, 방송 배신 다중화 데이터로서, 예를 들어 MPEG2-TS(이하, 간단히, 「트랜스포트 스트림」이라고 부름)의 컨테이너를 송신한다. 이 실시 형태에 있어서, 트랜스포트 스트림은, 다화상 배치의 배신 서비스에 관한 복수의 화상(픽처)의 부호화 화상 데이터를 포함하는, 소정 수의 비디오 스트림을 갖는 것이 된다.

다화상 배치에는, 예를 들어 복수의 화상이 수평·수직 방향으로 2차원 배치된 수평·수직 방향 2차원 다화상 배치, 복수의 화상이 수평 방향으로 1차원 배치된 수평 방향 1차원 다화상 배치, 복수의 화상이 수직 방향으로 1차원 배치된 수직 방향 1차원 다화상 배치 등이 있다.

비디오 스트림의 레이어에는, 복수의 화상의 배치 위치를 나타내는 위치 정보 외에, 복수의 화상의 표시 타이밍을 조정하기 위한 오프셋 정보, 다화상 배치의 타입을 나타내는 타입 정보, 복수의 화상의 표시 시의 로테이션 타입을 나타내는 타입 정보 등이 삽입된다. 예를 들어, 화상 데이터가 AVC(Advanced Video Coding), HEVC(High Efficiency Video Coding) 등으로 부호화되어 있는 경우, 이들 정보는 새롭게 정의되는 SEI 메시지에 삽입된다.

도 2는 수평·수직 방향 2차원 다화상 배치의 일례를 도시하고 있다. 이 예에 있어서는, 수평·수직의 쌍방향에 4개의 화상이 배치되어 있다. 이 4×4의 화상으로 구성되는 다화상 배치 화상(이하, 적절히, 「그룹 픽처」라고 부름)은 가상 디스플레이(Virtual Display)에 대응한 해상도를 가지고 있다. 예를 들어, 하나의 화상이 HD 해상도일 경우, 그룹 픽처는 8K 해상도를 갖는 것이 된다.

「0000」 내지 「1111」은, 각 화상의 위치 정보인 4비트 데이터를 나타내고 있다. 이 경우, 전반의 2비트는, 가상 디스플레이의 4분할 중 어느 위치인지를 나타낸다. 또한, 후반에 2비트는, 그 4분할을 4분할로 더 세분화한 각각의 위치를 나타낸다. 또한, 「Picture rendering type」은, 다화상 배치의 타입을 나타내는 타입 정보이다. 「Picture rendering type=011」은, 수평·수직 방향 2차원 다화상 배치임을 나타낸다.

도 3은 수평 방향 1차원 다화상 배치의 일례를 도시하고 있다. 이 예에 있어서는, 수평 방향으로 5개의 화상이 배치되어 있다. 이 5화상으로 구성되는 그룹 픽처는 가상 디스플레이(Virtual Display)에 대응한 해상도를 가지고 있다. 예를 들어, 하나의 화상이 HD 해상도일 경우, 수평 방향으로는, 그 5배의 해상도를 갖는 것이 된다.

「1110」, 「1111」, 「0000」, 「0001」, 「0010」은, 각 화상의 위치 정보인 4비트 데이터를 나타내고 있다. 예를 들어, 수평 방향 1차원 다화상 배치인 경우, 정면 화상의 위치 정보는 「0000」, 정면의 우측 이웃 N개째의 화상의 위치 정보는 「0000+N」, 또한, 정면 좌측 이웃 N개째의 화상의 위치 정보는 「0000-N」이 된다.

또한, 수직 방향 1차원 다화상 배치 예의 설명은 생략하지만, 상술한 수평 방향 1차원 다화상 배치의 예와 마찬가지가 된다.

또한, 트랜스포트 스트림의 레이어에, 다화상 배치의 배신 서비스임을 나타내는 식별 정보, 그 배신 서비스가 동화상 정지 화상의 혼재 서비스인지 여부를 식별하는 식별 정보, 다화상 배치의 배신 서비스에 관여하는 비디오 스트림의 총수 등이 삽입된다. 이들 정보는, 예를 들어 프로그램·맵·테이블(PMT: Program Map Table)의 관리 하에 삽입되는, 새롭게 정의되는 디스크립터에 기술된다.

하나의 비디오 스트림에는, 하나 또는 복수의 화상의 부호화 화상 데이터가 포함된다. 또한, 비디오 스트림은, 동화상 스트림, 정지 화상 스트림, 또는 동화상 정지 화상 혼재 스트림이 된다.

도 4는 정지 화상에 의한 그룹 픽처의 예를 도시하고 있다. 이 예에서는, 그룹 픽처는 2×2의 화상(정지 화상)으로 구성된다. 그리고, 이 예에서는, 하나의 비디오 스트림에서 각 화상의 부호화 화상 데이터가 시분할적으로 보내진다. 이 경우, 수신측에서는 각 화상의 부호화 데이터가 순차 복호화되고, 각 화상의 화상 데이터는, 각각 위치 정보에 기초하여, 가상 디스플레이 버퍼(Virtual Display Buffer)의 대응하는 영역에 기입된다.

도 5는 동화상에 의한 그룹 픽처의 예를 도시하고 있다. 이 예에서는, 그룹 픽처는 2×2의 화상(동화상)으로 구성된다. 그리고, 이 예에서는, 하나의 비디오 스트림에서 각 화상의 부호화 화상 데이터가 시분할적으로 보내진다. 이 경우, 수신측에서는 각 화상의 부호화 데이터가 순차 복호화되고, 각 화상의 화상 데이터는, 각각 위치 정보에 기초하여, 가상 디스플레이 버퍼의 대응하는 영역에 기입된다.

도 6은 동화상에 의한 그룹 픽처의 예를 도시하고 있다. 이 예에서는, 그룹 픽처는 2×2의 화상(동화상)으로 구성된다. 그리고, 이 예에서는, 4개의 비디오 스트림에서 각 화상의 부호화 화상 데이터가 보내진다. 이 경우, 수신측에서는 각 화상의 부호화 데이터가 복호화되고, 각 화상의 화상 데이터는, 각각 위치 정보에 기초하여, 가상 디스플레이 버퍼의 대응하는 영역에 기입된다.

도 7은 정지 화상·동화상에 의한 그룹 픽처의 예를 도시하고 있다. 이 예에서는, 그룹 픽처는 2×2의 화상(정지 화상, 동화상)으로 구성된다. 그리고, 이 예에서는, 하나의 비디오 스트림에서 각 화상의 부호화 화상 데이터가 보내진다. 이 경우, 화상 3(Picture 3)으로서는, 정지 화상과 동화상이 존재한다. 이 경우, 수신측에서는 각 화상의 부호화 데이터가 복호화되고, 각 화상의 화상 데이터는, 각각 위치 정보에 기초하여, 가상 디스플레이 버퍼의 대응하는 영역에 기입된다.

도 8은 정지 화상(Still picture) 서비스의 단일 스트림에 의한 배신 예를 도시하고 있다. 이 예에서는, 그룹 픽처는 2×2의 화상으로 구성된다. 도면에 있어서, 동그라미 숫자가 부여된 직사각형 부분이 액세스 유닛을 나타내고 있다. 이 예는, HEVC에 의한 부호화가 행해지고 있는 예를 나타내고 있다. 또한, 「1」 내지 「4」의 동그라미 숫자는, 각각 화상 1(Picture 1) 내지 화상 4(Picture 4)의 부호화 화상 데이터가 포함되어 있음을 나타내고 있다.

가장 먼저, 화상 1(Picture 1) 내지 화상 4(Picture 4)의 정지 화상의 부호화 화상 데이터가 순서대로 송신된다. 이어서, 화상 3(Picture 3)의 갱신된 부호화 화상 데이터가 송신된다. 이어서, 또한, 화상 3(Picture 3)의 갱신된 부호화 화상 데이터가 송신된다. 이어서, 화상 1(Picture 1) 내지 화상 4(Picture 4)의 갱신된 부호화 화상 데이터가 순서대로 송신된다.

또한, 「group_picture_start」는, 어떤 시점에 표시 갱신해야 할 그룹 픽처의 개시를 나타낸다. 한편, 「group_picture_end」는, 어떤 시점에서 표시 갱신해야 할 그룹 픽처의 종료를 나타낸다. 이들 정보는, 후술하는 바와 같이, 비디오 스트림의 레이어에 삽입되어 있다. 이하의 각 예에 있어서도 마찬가지이다.

도 9는 정지 화상(Still picture) 서비스의 복수 스트림에 의한 배신 예를 도시하고 있다. 이 예에서는, 그룹 픽처는 2×2의 화상으로 구성된다. 도면에 있어서, 동그라미 숫자가 부여된 직사각형 부분이 액세스 유닛을 도시하고 있다. 또한, 「1」 내지 「4」의 동그라미 숫자는, 각각 화상 1(Picture 1) 내지 화상 4(Picture 4)의 부호화 화상 데이터가 포함되어 있음을 나타내고 있다.

가장 먼저, 비디오 스트림 1 내지 4에 의해 각각 화상 1(Picture 1) 내지 화상 4(Picture 4)의 부호화 화상 데이터가 순서대로 송신된다. 이어서, 비디오 스트림 3에 의해 화상 3(Picture 3)의 갱신된 부호화 화상 데이터가 송신된다. 이어서, 또한, 비디오 스트림 3에 의해 화상 3(Picture 3)의 갱신된 부호화 화상 데이터가 송신된다. 이어서, 비디오 스트림 1 내지 4에 의해 각각 화상 1(Picture 1) 내지 화상 4(Picture 4)의 갱신된 부호화 화상 데이터가 순서대로 송신된다.

도 10은 정지 화상(Still picture), 동화상(Moving picture)의 혼재 서비스의 단일 스트림에 의한 배신 예를 도시하고 있다. 이 예에서는, 그룹 픽처는 2×2의 화상으로 구성된다. 도면에 있어서, 동그라미 숫자가 부여된 직사각형 부분이 액세스 유닛을 도시하고 있다. 또한, 「1」 내지 「4」의 동그라미 숫자는, 각각 화상 1(Picture 1) 내지 화상 4(Picture 4)의 부호화 화상 데이터가 포함되어 있음을 나타내고 있다.

가장 먼저, 화상 1(Picture 1) 내지 화상 4(Picture 4)의 정지 화상의 부호화 화상 데이터가 순서대로 송신된다. 이어서, 화상 3(Picture 3)의 동화상의 부호화 화상 데이터가 송신된다. 이어서, 화상 1(Picture 1) 내지 화상 4(Picture 4)의 갱신된 정지 화상의 부호화 화상 데이터가 순서대로 송신된다.

도 11은 방송국(110)에 있어서, 상술한 트랜스포트 스트림을 생성하는 송신 데이터 생성부(110)의 구성예를 도시하고 있다. 이 송신 데이터 생성부(110)는, 동화상·정지 화상 출력부(112)와, 비디오 인코더(113)와, 멀티플렉서(114)를 갖고 있다.

동화상·정지 화상 출력부(112)는, 다화상 배치의 배신 서비스에 관한 복수의 화상의 화상 데이터를 출력한다. 이 동화상·정지 화상 출력부(112)는, 예를 들어 피사체를 촬상하여 화상 데이터를 출력하는 카메라, 또는 기억 매체로부터 화상 데이터를 판독하여 출력하는 화상 데이터 판독부 등에 의해 구성된다. 정지 화상 서비스의 경우에는(예를 들어, 도 4 참조), 복수의 정지 화상의 화상 데이터를 출력한다. 동화상 서비스의 경우에는(예를 들어, 도 5, 도 6 참조), 복수의 동화상의 화상 데이터를 출력한다. 또한, 동화상, 정지 화상의 혼재 서비스의 경우에는(예를 들어, 도 7 참조), 동화상, 정지 화상의 복수의 화상 데이터를 출력한다.

비디오 인코더(113)는, 동화상·정지 화상 출력부(112)로부터 출력되는 복수의 화상의 화상 데이터에 대하여, 예를 들어 AVC 또는 HEVC 등의 부호화를 실시하여, 부호화 화상 데이터를 얻는다. 또한, 비디오 인코더(113)는, 후단에 구비하는 스트림 포매터에 의해, 부호화 화상 데이터를 포함하는 소정 수의 비디오 스트림(비디오 엘리멘터리 스트림)을 생성한다. 이 경우, 하나의 비디오 스트림에는, 다화상 배치에 관한 하나의 화상의 부호화 화상 데이터를 포함하는 경우 외에, 다화상 배치에 관한 복수의 화상의 부호화 화상 데이터를 포함하는 경우가 있다.

여기서, 비디오 인코더(113)는, 비디오 스트림의 레이어에, 복수의 화상의 배치 위치를 나타내는 위치 정보 외에, 복수의 화상의 표시 타이밍을 조정하기 위한 오프셋 정보, 다화상 배치의 타입을 나타내는 타입 정보, 복수의 화상의 표시 시의 로테이션 타입을 나타내는 타입 정보 등을 삽입한다. 이들 정보는, 화상 데이터가 AVC(Advanced Video Coding), HEVC(High Efficiency Video Coding) 등으로 부호화되어 있는 경우, 새롭게 정의되는 SEI 메시지에 삽입된다. 이들 정보의 상세에 대해서는 후술한다.

멀티플렉서(114)는 비디오 인코더(113)에서 생성된 각 비디오 스트림을 패킷화하여 다중화하고, 트랜스포트 스트림을 생성한다. 여기서, 멀티플렉서(114)는, 컨테이너의 레이어(시스템 레이어)에, 다화상 배치의 배신 서비스임을 나타내는 식별 정보, 그 배신 서비스가 동화상 정지 화상의 혼재 서비스인지 여부를 식별하는 식별 정보, 다화상 배치의 배신 서비스에 관여하는 비디오 스트림의 총수 등을 삽입한다. 이들 정보는, 예를 들어 프로그램·맵·테이블(PMT: Program Map Table)의 관리 하에 삽입되는, 새롭게 정의되는 디스크립터에 기술된다. 이들 정보의 상세에 대해서는 후술한다.

도 11에 도시하는 송신 데이터 생성부(110)의 동작을 간단하게 설명한다. 동화상·정지 화상 출력부(112)로부터 다화상 배치의 배신 서비스에 관한 복수의 화상의 화상 데이터가 출력된다. 이들 화상 데이터는, 비디오 인코더(113)에 공급된다. 비디오 인코더(113)에서는, 이들 화상 데이터에 대하여, 예를 들어 AVC 또는 HEVC 등의 부호화가 실시되고, 부호화 화상 데이터가 얻어진다. 그리고, 이 비디오 인코더(113)에서는, 그 부호화 화상 데이터를 포함하는 소정 수의 비디오 스트림이 생성된다.

이때, 비디오 인코더(113)에서는, 비디오 스트림의 레이어에, 예를 들어 새롭게 정의되는 SEI 메시지에 의해, 복수의 화상의 배치 위치를 나타내는 위치 정보 외에, 복수의 화상의 표시 타이밍을 조정하기 위한 오프셋 정보, 다화상 배치의 타입을 나타내는 타입 정보, 복수의 화상의 표시 시의 로테이션 타입을 나타내는 타입 정보 등이 삽입된다.

또한, 비디오 인코더(113)로부터 출력되는 소정 수의 비디오 스트림은, 멀티플렉서(114)에 공급된다. 멀티플렉서(114)에서는, 각 비디오 스트림이 패킷화되어서 다중화되고, 트랜스포트 스트림이 생성된다. 이때, 멀티플렉서(114)에서는, 트랜스포트 스트림의 레이어에, 새롭게 정의되는 디스크립터에 의해, 다화상 배치의 배신 서비스임을 나타내는 식별 정보, 그 배신 서비스가 동화상 정지 화상의 혼재 서비스인지 여부를 식별하는 식별 정보, 다화상 배치의 배신 서비스에 관여하는 비디오 스트림의 총수 등이 삽입된다.

[TS 구성, SEI 메시지의 구조, 디스크립터의 구조]

도 12는 단일 스트림에 의한 배신을 행하는 경우의 트랜스포트 스트림의 구성예를 도시하고 있다. 트랜스포트 스트림에는, 하나의 비디오 스트림이 포함되어 있다. 즉, 이 구성예에서는, 화상 데이터가 부호화되어 있는 비디오 스트림의 PES 패킷 「video PES1」이 존재한다. 이 비디오 스트림에는, 다화상 배치의 배신 서비스에 관한 복수의 화상의 부호화 화상 데이터가 포함되어 있다.

이 비디오 스트림에는, 각 화상의 부호화 화상 데이터의 액세스 유닛마다, 그룹 픽처 태그 SEI(Group_picture_tag SEI) 메시지가 삽입된다. 이 SEI 메시지에 의해, 상술한 바와 같이, 비디오 스트림의 레이어에, 각 화상의 배치 위치를 나타내는 위치 정보 외에, 각 화상의 표시 타이밍을 조정하기 위한 오프셋 정보, 다화상 배치의 타입을 나타내는 타입 정보, 각 화상의 표시 시의 로테이션 타입을 나타내는 타입 정보 등이 삽입된다.

또한, 트랜스포트 스트림 TS에는, PSI(Program Specific Information)로서, PMT(Program Map Table)가 포함되어 있다. 이 PSI는, 트랜스포트 스트림에 포함되는 각 엘리멘터리 스트림이 어느 프로그램에 속하고 있는지를 기재한 정보이다.

PMT에는, 프로그램 전체에 관련되는 정보를 기술하는 프로그램·루프(Program loop)가 존재한다. 이 프로그램·루프의 관리 하에, 멀티 스트림 서비스 디스크립터(multi_stream_service_descriptor)가 삽입된다. 또한, PMT에는, 각 엘리멘터리 스트림에 관련된 정보를 갖는 엘리멘터리·루프가 존재한다. 이 구성예에서는, 비디오 엘리멘터리·루프(video ES1 loop)가 존재한다.

이 비디오 엘리멘터리·루프에는, 비디오 스트림(video PES1)에 대응하여, 스트림 타입, 패킷 식별자(PID) 등의 정보가 배치됨과 함께, 그 비디오 스트림에 관련되는 정보를 기술하는 디스크립터도 배치된다. 이 디스크립터 중 하나로서, 믹스트 스트림 디스크립터(mixed_stream_descriptor)와, 픽처 라이프 타임 디스크립터(Picture_lifetime_descriptor)가 삽입된다.

이렇게 PMT의 관리 하에 삽입되는 디스크립터에 의해, 상술한 바와 같이, 다화상 배치의 배신 서비스임을 나타내는 식별 정보, 그 배신 서비스가 동화상 정지 화상의 혼재 서비스인지 여부를 식별하는 식별 정보, 다화상 배치의 배신 서비스에 관여하는 비디오 스트림의 총수 등이 삽입된다.

도 13은 복수 스트림, 여기에서는 4스트림에 의한 배신을 행하는 경우의 트랜스포트 스트림의 구성예를 도시하고 있다. 트랜스포트 스트림에는, 4개의 비디오 스트림이 포함되어 있다. 즉, 이 구성예에서는, 화상 데이터가 부호화되어 있는 비디오 스트림의 PES 패킷 「video PES1, video PES2, video PES3, video PES4」가 존재한다. 이들 비디오 스트림에는, 다화상 배치의 배신 서비스에 관한 복수의 화상의 부호화 화상 데이터가 포함되어 있다.

이들 비디오 스트림에는, 각 화상의 부호화 화상 데이터의 액세스 유닛마다, 그룹 픽처 태그 SEI(Group_picture_tag SEI) 메시지가 삽입된다. 이 SEI 메시지에 의해, 상술한 바와 같이, 비디오 스트림의 레이어에, 각 화상의 배치 위치를 나타내는 위치 정보 외에, 각 화상의 표시 타이밍을 조정하기 위한 오프셋 정보, 다화상 배치의 타입을 나타내는 타입 정보, 각 화상의 표시 시의 로테이션 타입을 나타내는 타입 정보 등이 삽입된다.

또한, 트랜스포트 스트림 TS에는, PSI(Program Specific Information)로서, PMT(Program Map Table)가 포함되어 있다. 이 PSI는, 트랜스포트 스트림에 포함되는 각 엘리멘터리 스트림이 어느 프로그램에 속해 있는지를 기재한 정보이다.

PMT에는, 프로그램 전체에 관련되는 정보를 기술하는 프로그램·루프(Program loop)가 존재한다. 이 프로그램·루프의 관리 하에, 멀티 스트림 서비스 디스크립터(multi_stream_service_descriptor)가 삽입된다. 또한, PMT에는, 각 엘리멘터리 스트림에 관련된 정보를 갖는 엘리멘터리·루프가 존재한다. 이 구성예에서는, 4개의 비디오 엘리멘터리·루프(video ES1 loop, video ES2 loop, video ES3 loop, video ES4 loop)가 존재한다.

이들 비디오 엘리멘터리·루프에는, 각 비디오 스트림에 대응하여, 스트림 타입, 패킷 식별자(PID) 등의 정보가 배치됨과 함께, 그 비디오 스트림에 관련되는 정보를 기술하는 디스크립터도 배치된다. 이 디스크립터 중 하나로서, 믹스트 스트림 디스크립터(mixed_stream_descriptor)와, 픽처 라이프 타임 디스크립터(Picture_lifetime_descriptor)가 삽입된다.

도 14는 그룹 픽처 태그 SEI(Group_picture_tag SEI)의 구조예(Syntax)를 도시하고 있다. 또한, 도 15는 그 구조예에 있어서의 주요한 정보의 내용(Semantics)을 도시하고 있다. 「group_picture_id」의 8비트 필드는, 정지 화상을 포함하는, 복수의 픽처의 집합 표시를 위한 관련 정보이다. 즉, 그룹 픽처(다화상 배치 화상)를 구성하는 각 화상의 「group_picture_id」는 동일하게 된다.

「picture_rendering_type」의 3비트 필드는, 다화상 배치의 타입, 즉 그룹 픽처에 포함되는 화상의 배치 타입을 나타낸다. "001"은 수평 방향 1차원 다화상 배치임을 나타내고, "010"은 수직 방향 1차원 다화상 배치임을 나타내며, "011"은 수평·수직 방향 2차원 다화상 배치임을 나타낸다. 이 정보에 의해, 수신측에서는, 다화상 배치의 타입을 적확하게 인식할 수 있고, 복수의 화상의 배치를 적절하게 행하는 것이 용이하게 가능하게 된다.

「lifetime_controlled」의 1비트 필드는, 표시 가능한 시간이 제한되는지 여부를 나타낸다. "1"은, 표시 가능한 시간이 제한되어 있음을 나타낸다. 이 경우, 시스템 레이어(컨테이너의 레이어)에서 지정되는 NTP 시각까지 표시 가능하게 된다. "0"은, 표시 가능한 시간이 제한되지 않음, 즉 무기한으로 표시 가능함을 나타낸다. 이 정보에 의해, 수신측에서는, 예를 들어 가상 디스플레이 버퍼 내에 축적되어 있는 화상 데이터의 삭제 제어를 자동으로 행하는 것이 가능하게 된다.

「location_ID」의 4비트 필드는, 그룹 픽처를 구성하는 각 화상의 배치 위치를 나타낸다(도 2, 도 3 참조). 「version_number」의 8비트 필드는, 화상의 갱신(update)을 나타내는 오름차순 값이다. 이 정보에 기초하여, 예를 들어 그룹 픽처를 구성하는 정지 화상의 갱신을 순차 행하는 것이 가능하게 된다. 「number_of_pictures」의 4비트 필드는, 그룹 픽처를 구성하는 화상의 총수, 즉, 동일한 「group_picture_id」를 갖고, 동시에 표시되는 화상의 최대수이다.

「display_coordinate」의 3비트 필드는, 표시 시의 로테이션의 타입을 나타낸다. "010"은, 화상마다 시계 방향으로 90도 회전하여 표시함을 나타낸다. "011"은, 화상마다 반시계 방향으로 90도 회전하여 표시함을 나타낸다. "110"은, 그룹 픽처 전체에서 시계 방향으로 90도 회전하여 표시함을 나타낸다. "111"은, 그룹 픽처 전체에서 반시계 방향으로 90도 회전하여 표시함을 나타낸다. 이 정보에 의해, 그룹 픽처를 구성하는 복수의 화상을, 서비스측이 의도한 회전 상태로 표시시키는 것이 가능하게 된다.

도 16은 「display_coordinate」에 의한 표시 시의 로테이션의 일례를 도시하고 있다. 이 예는, 수평·수직 방향 2차원 다화상 배치의 예이며, 그룹 픽처가 2×2의 화상으로 구성되는 예이다. 도 16의 (a)는 「display_coordinate」가 "110"인 경우의 예를 도시하고 있다. 디코드 화상에 대하여, 표시 화상은 그룹 픽처 전체가 시계 방향으로 90도 회전한 것이 된다. 또한, 도 16의 (b)는 「display_coordinate」가 "010"인 경우의 예를 도시하고 있다. 디코드 화상에 대하여, 표시 화상은 화상(픽처)마다 시계 방향으로 90도 회전한 것이 된다.

도 14로 되돌아가서, 「group_picture_start」의 1비트 필드는, 어떤 시점에 표시 갱신해야 할 그룹 픽처의 개시를 나타낸다. 「group_picture_end」의 1비트 필드는, 어떤 시점에 표시 갱신해야 할 그룹 픽처의 종료를 나타낸다. 「PTD(Presentation Time Distance)」의 8비트 필드는, 그룹 픽처에 포함되는 각 화상을 동시에 표시시키기 위한 오프셋값이다. 즉, 이 「PTD」는, 그룹 픽처를 구성하는 복수의 화상의 표시 타이밍을 조정하기 위한 오프셋 정보이다.

그룹 픽처를 구성하는 화상 (i)의 표시 타이밍 CTP(i)는 PTD(i)를 사용하여, 이하의 수식 (1)에 표시하는 바와 같이 구할 수 있다. 여기서, PTD(max)는 「group_picture_start」와 「group_picture_end」 사이에 놓인 동일 「group_picture_id」를 갖는 화상 중에서, 가장 늦은 표시 타이밍(PTS)을 갖는 화상에 부여되는 PTD이다.

CTP(i)=PTS(i)+(PTD(max)-PTD(i))*시스템 클록 정밀도(90KHz) …(1)

도 17은 그룹 픽처를 구성하는 각 화상의 표시 타이밍 CTP의 산출예를 도시하고 있다. 이 예는, 도 17의 (a)에 도시하는 바와 같이, 수평·수직 방향 2차원 다화상 배치의 예이며, 그룹 픽처가 2×2인 화상(Picture 1, Picture 2, Picture 3, Picture 4)으로 구성되는 예이다. 이 경우, 도 17의 (b)에 도시하는 바와 같이, 예를 들어 각 화상의 PTS가 P1, P2, P3, P4인 것에 대해, 각 화상의 PTD는 1, 2, 3, 4로 설정된다. PTD(max)=4이다.

이 경우, 화상 1(Picture 1)의 표시 타이밍 CTP1은, "P1+(4-1)*1/90000"으로 구해진다. 또한, 화상 2(Picture 2)의 표시 타이밍 CTP2는, "P2+(4-2)*1/90000"으로 구해진다. 또한, 화상 3(Picture 3)의 표시 타이밍 CTP3은, "P3+(4-3)*1/90000"으로 구해진다. 그리고, 화상 4(Picture 4)의 표시 타이밍 CTP4는, "P4+(4-4)*1/90000=P4"로 구해진다. 또한, 그룹 픽처 내의 각 화상의 표시 타이밍을 어긋나게 하는 경우에는, 각 CTP의 값을 상이하게 설정하면 된다.

도 18은 그룹 픽처 태그 SEI의 각종 정보의 시간적 변천의 일례를 도시하고 있다. 도면에 있어서, 동그라미 숫자가 부여된 직사각형 부분이 액세스 유닛을 나타내고 있다. 또한, 「1」 내지 「4」의 동그라미 숫자는, 각각 화상 1(Picture 1) 내지 화상 4(Picture 4)의 부호화 화상 데이터가 포함되어 있음을 나타내고 있다(도 17의 (a) 참조).

가장 먼저, 「group_picture_id」가 「1」인 정지 화상의 화상 1(Picture 1) 내지 화상 4(Picture 4)의 부호화 화상 데이터가 순서대로 송신된다. 이 경우, 화상 1(Picture 1) 내지 화상 4(Picture 4)의 부호화 화상 데이터에는, 「location_id」로서 「1」 내지 「4」가 부여됨과 함께, 「version_number」로서 「1」이 부여되고, 또한, 「display_coordinate」로서 「0」이 부여되어 있다. 그리고, 이 경우, 화상 1(Picture 1)의 부호화 화상 데이터에는 「group_picture_start」에 의해 그룹 픽처의 서비스가 개시되는 것이 나타나고, 화상 4(Picture 4)의 부호화 화상 데이터에는 「group_picture_end」에 의해 그룹 픽처의 서비스가 종료된 것이 나타난다.

이어서, 화상 2(Picture 2)의 갱신된 부호화 화상 데이터가 송신된다. 이 경우, 화상 2(Picture 2)의 부호화 화상 데이터에는, 「location_id」로서 「2」가 부여됨과 함께, 「version_number」로서 「2」가 부여되고, 또한, 「display_coordinate」로서 「0」이 부여되어 있다. 그리고, 이 경우, 화상 2(Picture 2)의 부호화 화상 데이터에는 「group_picture_start」에 의해 그룹 픽처의 서비스가 개시되는 것이 나타남과 함께, 「group_picture_end」에 의해 그룹 픽처의 서비스가 종료된 것이 나타난다.

이어서, 화상 2(Picture 2)의 더 갱신된 부호화 화상 데이터가 송신된다. 이 경우, 화상 2(Picture 2)의 부호화 화상 데이터에는, 「location_id」로서 「2」가 부여됨과 함께, 「version_number」로서 「3」이 부여되고, 또한, 「display_coordinate」로서 「0」이 부여되어 있다. 그리고, 이 경우, 화상 2(Picture 2)의 부호화 화상 데이터에는 「group_picture_start」에 의해 그룹 픽처의 서비스가 개시되는 것이 나타남과 함께, 「group_picture_end」에 의해 그룹 픽처의 서비스가 종료된 것이 나타난다.

이어서, 화상 1(Picture 1) 내지 화상 4(Picture 4)의 갱신된 부호화 화상 데이터가 순서대로 송신된다. 이 경우, 화상 1(Picture 1) 내지 화상 4(Picture 4)의 부호화 화상 데이터에는, 「location_id」로서 「1」 내지 「4」가 부여됨과 함께, 「version_number」로서 「4」가 부여되고, 또한, 「display_coordinate」로서 「1」이 부여되어 있다. 그리고, 이 경우, 화상 1(Picture 1)의 부호화 화상 데이터에는 「group_picture_start」에 의해 그룹 픽처의 서비스가 개시되는 것이 나타나고, 화상 4(Picture 4)의 부호화 화상 데이터에는 「group_picture_end」에 의해 그룹 픽처의 서비스가 종료된 것이 나타난다.

도 19는 멀티 스트림 서비스 디스크립터(multi_stream_service_descriptor)의 구조예(Syntax)를 도시하고 있다. 또한, 도 20은 그 구조예에 있어서의 주요한 정보의 내용(Semantics)을 도시하고 있다.

「multi_stream_service_descriptor_tag」의 8비트 필드는, 디스크립터 타입을 나타내고, 여기에서는, 멀티 스트림 서비스 디스크립터임을 나타낸다. 「multi_stream_service_descriptor_length」의 8비트 필드는, 디스크립터의 길이(사이즈)를 나타내고, 디스크립터의 길이로서, 이후의 바이트수를 나타낸다. 「multiple_stream_service_flag」의 1비트 필드는, 다중 배신 서비스, 즉, 다화상 배치의 배신 서비스임을 나타내는 플래그이다. "1"은 다중 배신 서비스임을 나타내고, "0"은 비다중 배신 서비스임을 나타낸다. 이 정보에 의해, 수신측에서는, 다화상 배치의 배신 서비스임을 용이하게 인식할 수 있고, 그 처리를 위한 준비를 행하는 것이 가능하게 된다.

「moving_picture_still_picture_mixed_service」의 1비트 필드는, 정지 화상·동화상 혼재 서비스임을 나타내는 플래그이다. "1"은 정지 화상·동화상 혼재 서비스임을 나타내고, "0"은 비혼재 서비스임을 나타낸다. 「number_of_streams」의 4비트 필드는, 다중 배신 서비스에 관여하는 스트림의 총수를 나타낸다. "0001" 내지 "1111"은, 각각 1 스트림 내지 15 스트림을 나타낸다. 이 정보에 의해, 수신측에서는, 처리해야 할 비디오 스트림의 총수를 용이하게 파악할 수 있고, 적절한 처리가 가능하게 된다.

도 21의 (a)는 믹스트 스트림 디스크립터(mixed_stream_descriptor)의 구조예(Syntax)를 도시하고 있다. 또한, 도 21의 (b)는 그 구조예에 있어서의 주요한 정보의 내용(Semantics)을 도시하고 있다.

「mixed_stream_descriptor tag」의 8비트 필드는, 디스크립터 타입을 나타내고, 여기에서는, 믹스트 스트림 디스크립터임을 나타낸다. 「mixed_stream_descriptor length」의 8비트 필드는, 디스크립터의 길이(사이즈)를 나타내고, 디스크립터의 길이로서, 이후의 바이트수를 나타낸다. 「service_stream_type」의 2비트 필드는, 스트림의 타입을 나타낸다. "01"은 동화상 스트림을 나타내고, "10"은 정지 화상 스트림을 나타내며, "11"은 정지 화상·동화상 혼재 스트림을 나타낸다. 이 정보에 의해, 수신측에서는, 비디오 스트림의 스트림 타입을 용이하게 파악할 수 있고, 적절한 처리를 행하는 것이 가능하게 된다.

도 22의 (a)는 픽처 라이프 타임 디스크립터(Picture_lifetime_descriptor)의 구조예(Syntax)를 도시하고 있다. 또한, 도 22의 (b)는 그 구조예에 있어서의 주요한 정보의 내용(Semantics)을 도시하고 있다.

「Picture_lifetime_descriptor tag」의 8비트 필드는, 디스크립터 타입을 나타내고, 여기에서는, 픽처 라이프 타임 디스크립터임을 나타낸다. 「Picture_lifetime_descriptor length」의 8비트 필드는, 디스크립터의 길이(사이즈)를 나타내고, 디스크립터의 길이로서, 이후의 바이트수를 나타낸다. 「number_of_group_pictures」의 16비트 필드는, 「group_picture_id」로 식별되는 그룹 픽처의 수를 나타낸다. 「NTP」의 64비트 필드는, NTP(Network Time Protocol)로 규정되는 클럭 값을 나타내는 것으로, 그룹 픽처마다 설정할 수 있다.

도 1로 되돌아가서, 넷 배신 서버(120)는, 통신 네트워크를 통해서 정지 화상, 동화상의 리니어 서비스, 또는 정지 화상, 동화상의 다운로드 서비스를 행한다. 넷 배신 서버(120)는, IP 배신 데이터로서, 예를 들어 MP4의 컨테이너를 배신한다. 이 MP4는, 상술한 방송국(110)에서 취급한 트랜스포트 스트림과 마찬가지로, 다화상 배치의 배신 서비스에 관한 복수의 화상(픽처)의 부호화 화상 데이터를 포함하는, 소정 수의 비디오 스트림을 갖는 것이 된다. 넷 배신 서버(120)는, 수신측으로부터의 재생 커맨드에 기초하여, MP4의 IP 패킷이 연속적으로 배치된 전송 스트림을, 통신 네트워크를 통해서, 수신측에 송신한다.

이 경우, 비디오 스트림의 레이어에는, 복수의 화상의 배치 위치를 나타내는 위치 정보 외에, 복수의 화상의 표시 타이밍을 조정하기 위한 오프셋 정보, 다화상 배치의 타입을 나타내는 타입 정보, 복수의 화상의 표시 시의 로테이션 타입을 나타내는 타입 정보 등이 삽입되어 있다. 또한, 컨테이너의 레이어(시스템 레이어)에, 다화상 배치의 배신 서비스임을 나타내는 식별 정보, 그 배신 서비스가 동화상 정지 화상의 혼재 서비스인지 여부를 식별하는 식별 정보, 다화상 배치의 배신 서비스에 관여하는 비디오 스트림의 총수 등이 삽입되어 있다.

도 1로 되돌아가서, 수신기(200)는, 튜너(201)와, 디멀티플렉서(202)와, 압축 데이터 버퍼(디코드 버퍼)(203)와, 디코더(204)와, 비압축 데이터 버퍼(디코디드 버퍼)(205)를 갖고 있다. 또한, 수신기(200)는, 가상 디스플레이 버퍼(VP 버퍼)(206)와, 스케일러(207)와, 디스플레이(스크린 디바이스)(208)와, 게이트웨이/네트워크 라우터(209)와, CPU(Central Processing Unit)(210)와, 유저 조작부(211)를 갖고 있다.

CPU(210)는, 수신기(200)의 각 부의 동작을 제어한다. 유저는, 유저 조작부(211)에 의해 다양한 지시 입력을 행할 수 있다. 이 유저 조작부(211)는, 리모트 컨트롤부, 근접/터치에 의해 지시 입력을 행하는 터치 패널부, 마우스, 키보드, 카메라에서 지시 입력을 검출하는 제스처 입력부, 음성으로 지시하는 음성 입력부 등이다.

튜너(201)는, 송신측으로부터 RF 전송로를 통하여 보내져 오는 방송파를 수신하여, RF 복조를 행하고, 방송 배신 다중화 데이터로서, 트랜스포트 스트림을 얻는다. 이 실시 형태에 있어서, 트랜스포트 스트림은, 상술한 바와 같이, 다화상 배치의 배신 서비스에 관한 복수의 화상(픽처)의 부호화 화상 데이터를 포함하는, 소정 수의 비디오 스트림을 갖는 것이다.

게이트웨이/네트워크 라우터부(209)는, 배신 서버(120)로부터 통신 네트워크를 통하여 보내져 오는 IP 패킷 열을 수신하고, 디패킷화를 행하여, IP 배신 데이터로서의 MP4를 얻는다. 이 실시 형태에 있어서, MP4는, 상술한 트랜스포트 스트림과 마찬가지로, 다화상 배치의 배신 서비스에 관한 복수의 화상(픽처)의 부호화 화상 데이터를 포함하는, 소정 수의 비디오 스트림을 갖는 것이다.

디멀티플렉서(202)는, 튜너(201)에서 얻어진 트랜스포트 스트림(방송 배신 다중화 데이터), 또는 게이트웨이/네트워크 라우터부(209)에서 얻어진 MP4(IP 배신 데이터)로부터, 소정 수의 비디오 스트림을 추출하고, 압축 데이터 버퍼(203)에 일시적으로 축적한다. 이때, 디멀티플렉서(202)는 컨테이너의 레이어에 삽입되어 있는 다양한 정보를 추출하여, CPU(210)에 보낸다. 이 정보에는, 상술한 바와 같이, 다화상 배치의 배신 서비스임을 나타내는 식별 정보, 그 배신 서비스가 동화상 정지 화상의 혼재 서비스인지 여부를 식별하는 식별 정보, 다화상 배치의 배신 서비스에 관여하는 비디오 스트림의 총수 등이 삽입되어 있다.

또한, 디멀티플렉서(202)에는, 외부에 있는 축적 매체(212), 예를 들어 HDD가 접속되어 있고, 튜너(201)에서 얻어진 트랜스포트 스트림(방송 배신 다중화 데이터), 또는 게이트웨이/네트워크 라우터부(209)에서 얻어진 MP4(IP 배신 데이터)의 기록 재생이 가능하게 되어 있다. 디멀티플렉서(202)는 축적 매체(212)로부터 재생 데이터에 대해서도 마찬가지의 처리가 가능하게 되어 있다.

디코더(204)는, 압축 데이터 버퍼(203)에 축적되어 있는 소정 수의 비디오 스트림을 소정의 디코드 타이밍에 취출하여, 복호화 처리를 실시하고, 그룹 픽처(다화상 배치 화상)를 구성하는 각 화상의 화상 데이터를 얻어, 비압축 데이터 버퍼(205)에 일시적으로 축적한다. 이때, 디코더(204)는 비디오 스트림의 레이어에 삽입되어 있는 다양한 정보를 추출하여, CPU(210)에 보낸다. 이 정보에는, 상술한 바와 같이, 각 화상의 배치 위치를 나타내는 위치 정보 외에, 각 화상의 표시 타이밍을 조정하기 위한 오프셋 정보, 다화상 배치의 타입을 나타내는 타입 정보, 각 화상의 표시 시의 로테이션 타입을 나타내는 타입 정보 등이 삽입되어 있다.

가상 디스플레이 버퍼(206)는, 비압축 데이터 버퍼(205)에 축적되어 있는 그룹 픽처를 구성하는 각 화상의 화상 데이터를 취득하고, 각 화상에 대응한 영역에 일시적으로 축적한다. 비압축 데이터 버퍼(205)로부터 가상 디스플레이 버퍼(206)로의 판독은, 예를 들어 PTS(Presentation Time Stamp)에 의존한 타이밍에 행해진다(도 17의 CTP 참조).

스케일러(207)는, 가상 디스플레이 버퍼(206)로부터 그룹 픽처의 일부 또는 전부의 영역(표시 영역)의 화상 데이터를 판독하고, 필요에 따라, 스케일링 처리를 실시하여, 디스플레이(208)에 보낸다. 이 스케일링은, 예를 들어 가상 디스플레이 버퍼(206)로부터 판독되는 표시 영역의 화상 데이터의 해상도를, 디스플레이(208)의 해상도에 맞추기 위해 행해진다.

가상 디스플레이 버퍼(206)로부터의 판독 타이밍(표시 타이밍), 나아가, 표시 영역의 위치나 크기는, 유저 조작부(211)로부터 지정 가능하게 된다. 이 경우, 유저 조작부(211)로부터, 화상 표시를 행하는 디스플레이(208)의 개수의 지정도 가능하게 되어 있다. 또한, 도시에서는 디스플레이(208)가 하나만 나타나 있지만, 복수의 디스플레이(208)를 구비하는 것이 전제가 된다.

도 23은 가상 디스플레이(Virtual Display) 상의 화상과 표시 영역과의 관계의 일례를 도시하고 있다. 도시의 예는, 수평·수직 방향 2차원 다화상 배치로, 2×2개의 화상 P1 내지 P4로 그룹 픽처가 구성되어 있다. 가상 디스플레이에 대하여, 유저 조작으로 설정된 크기의 표시 영역이, 또한, 도시와 같이, 유저 조작에 의해, 임의로 그 위치가 변경 가능하게 된다. 이 경우, 디스플레이(208)에는, 가상 디스플레이 상의 화상 P1 내지 P4 중, 표시 영역에 대응한 화상만이 표시된다.

또한, 이 경우, CPU(210)의 제어 하, 디스플레이(208)에, 또는 도시하지 않은 다른 표시 소자에, 가상 디스플레이 상에 있어서의 현재의 표시 영역의 위치 및 크기가 표시되어도 된다. 이 표시에 의해, 유저는, 가상 디스플레이 상에 있어서의 표시 영역의 위치 및 크기를 용이하게 파악할 수 있고, 표시 영역의 위치 및 크기의 지정을 적절히 또한 효율적으로 행할 수 있다.

도 24의 (a)는 가상 디스플레이 상에 있어서의 표시 영역의 위치 및 크기의 일례를 도시하고 있다. 도 24의 (b)는 거기에 대응한, 디스플레이(208)에 표시되는 위치 인디케이터(250)의 일례를 도시하고 있다. 이 위치 인디케이터(250)는, 가상 디스플레이의 전체를 나타내는 도형(250a)과, 그 도형 상에 표시 영역의 위치 및 크기에 대응하여 배치된 현재의 표시 영역을 나타내는 직사각 형상 도형(250b)을 포함하고 있다.

또한, 도 25도, 가상 디스플레이(Virtual Display) 상의 화상과 표시 영역과의 관계의 일례를 도시하고 있다. 도시의 예는, 수평 방향 1차원 다화상 배치로, 5개의 화상 P1 내지 P5로 그룹 픽처가 구성되어 있다. 가상 디스플레이에 대하여, 유저 조작으로 설정된 크기의 표시 영역이, 또한, 도시와 같이, 유저 조작에 의해, 임의로 그 위치가 변경 가능하게 된다. 이 경우, 디스플레이(208)에는, 가상 디스플레이 상의 화상 P1 내지 P5 중, 표시 영역에 대응한 화상만이 표시된다.

도 26의 (a)는 가상 디스플레이 상에 있어서의 표시 영역의 위치 및 크기의 일례를 도시하고 있다. 도 26의 (b)는 거기에 대응한, 디스플레이(208)에 표시되는 위치 인디케이터(260)의 일례를 도시하고 있다. 이 위치 인디케이터(260)는, 가상 디스플레이의 전체를 도시하는 도형(260a)과, 그 도형 상에 표시 영역의 중심 위치에 대응하여 배치된 현재의 표시 영역의 중심 위치를 나타내는 막대 형상 도형(260b)을 포함하고 있다. 이 경우에도, 표시 영역의 위치 및 크기를 직사각 형상 도형으로 나타내게 되어도 된다.

도 27은 파노라마 화상을 표시하기 위한 디스플레이의 구성예를 도시하고 있다. 이 디스플레이는, 복수개, 이 예에서는 3개의 평면 형상(일점쇄선으로 표시함) 또는 곡면 형상(실선으로 표시함)의 디스플레이(208)가 수평 방향으로 연접되어 구성되어 있다. 이 경우, 3개의 디스플레이(208)에, 예를 들어 수평 방향으로 연속된 3개의 화상이 선택적으로 표시됨으로써, 파노라마 화상의 표시가 가능하게 된다.

도 28은 그룹 픽처가 수평 방향으로 연속된 7개의 화상으로 구성되어 있는 경우에 있어서의 표시 영역의 지정예를 도시하고 있다. 도 28의 (a)는 3개의 디스플레이(208)(예를 들어, 도 27 참조)에 파노라마 화상의 일부를 표시하기 위해, 예를 들어 3화상분의 크기로 위치 지정을 실시해 가는 예이다. 도 28의 (b)는 하나의 디스플레이(208)에 파노라마 화상의 일부를 표시하기 위해, 예를 들어 1화상분의 크기로 위치 지정을 실시해 가는 예이다.

도 1로 되돌아가서, 그룹 픽처를 구성하는 화상이 정지 화상일 경우, 유저 조작에 따라, 정지 화상의 갱신(update)이 행해진다. 이 경우, 「location_id」와, 「version_number」에 따라, 가상 디스플레이 버퍼(206)로부터, 갱신 대상 화상의 화상 데이터가 판독되어, 표시 화상의 갱신이 이루어진다.

예를 들어, 상술한 도 18에 도시하는 바와 같은 배신 예의 경우를 생각한다. 이 경우, 가장 먼저 「version_number」가 「1」인 「location_id」가 「1」 내지 「4」인 4화상의 화상 데이터가 가상 디스플레이 버퍼(206)로부터 판독되어 정지 화상의 그룹 픽처가 표시되어 있는 것으로 한다. 이 상태에서, 유저의 갱신 조작이 있으면, 가상 디스플레이 버퍼(206)로부터는 「version_number」가 「2」인 「location_id」가 「2」인 화상의 화상 데이터가 판독되어, 당해 화상의 표시가 갱신된다.

또한, 이 상태에서, 유저의 갱신 조작이 있으면, 가상 디스플레이 버퍼(206)로부터는 「version_number」가 「3」인 「location_id」가 「2」인 화상의 화상 데이터가 판독되어, 당해 화상의 표시가 재갱신된다. 또한, 이 상태에서, 유저의 갱신 조작이 있으면, 「version_number」가 「4」인 「location_id」가 「1」 내지 「4」인 4화상의 화상 데이터가 가상 디스플레이 버퍼(206)로부터 판독되어, 당해 4화상의 표시가 갱신된다.

그룹 픽처를 구성하는 화상이 정지 화상일 경우, 가상 디스플레이 버퍼(206)로부터 화상 데이터가 판독되어 디스플레이(208)에 표시된 후에도, 「lifetime_controlled」가 "0"으로 설정되어 있는 경우에는, 유저에 의한 해방 지시가 나올 때까지, 화상 데이터는 가상 디스플레이 버퍼(206)에 잔류된다. 한편, 「lifetime_controlled」가 "1"로 설정되어 있는 경우에는, 시스템 레이어(컨테이너의 레이어)에서 지정되는 NTP 시각이 경과된 후에는, 가상 디스플레이 버퍼(206)로부터 해당하는 그룹 픽처에 속하는 화상 데이터는 자동으로 삭제된다.

그룹 픽처를 구성하는 복수의 화상의 일부 또는 전부가 동화상일 경우, 그 동화상의 화상 데이터는, PTS에 의존한 타이밍에 비압축 데이터 버퍼(205)로부터 가상 디스플레이 버퍼(206)에 판독된 후, 일정한 시간 내에 판독되어, 스케일러(207)를 통하여, 디스플레이(208)에 보내진다. 이 경우에도, 유저에 의해 크기 및 위치가 지정된 표시 영역의 화상 데이터만이 판독되고, 필요에 따라, 스케일러(207)에 의해 사이즈 변환(해상도 변환)이 행해진다.

또한, 유저는, 유저 조작부(211)로부터의 화상 회전 조작에 의해, 디스플레이(208)의 표시 화상을, 그룹 픽처 전체에서, 또는 그룹 픽처를 구성하는 화상마다, 회전 가능하게 된다. 또한, 화상의 회전은, 기본적으로는 「display_coordinate」의 정보에 의해 제어된다. 이에 의해, 서비스측이 의도한 회전 상태로 표시시키는 것이 가능하게 된다. 그러나, 유저의 조작에 의해, 또한, 화상의 회전이 가능하게 되어 있다.

또한, 유저는, 유저 조작부(211)의 조작에 의해, 넷 배신 서버(120)에, 재생 커맨드, 나아가, 포즈 커맨드, 리줌(재개) 커맨드, 스킵 커맨드, 재생 종료 커맨드 등을 보낼 수 있다. 또한, 예를 들어 가상 디스플레이 버퍼(206)가 오버플로우되기 전에, 예를 들어 CPU(210)가, 자동으로 넷 배신 서버(120)에 포즈 커맨드를 보내고, 그 후, 가상 디스플레이 버퍼(206)의 용량에 여유가 생겼을 경우에, 리줌(재개) 커맨드를 보내는 일도 행해진다.

수신기(200)의 동작을 간단하게 설명한다. 가장 먼저, 수신기(200)가 방송파를 받는 경우에 대하여 설명한다. 튜너(201)에 의해, 정지 화상 리니어 서비스, 동화상 리니어 서비스가 수신되고, 트랜스포트 스트림(방송 배신 다중화 데이터)이 얻어진다. 이 트랜스포트 스트림은, 디멀티플렉서(202)에 보내진다.

디멀티플렉서(202)에서는, 트랜스포트 스트림(방송 배신 다중화 데이터)으로부터, 소정 수의 비디오 스트림이 추출되고, 압축 데이터 버퍼(203)에 일시적으로 축적된다. 이때, 디멀티플렉서(202)에서는, 컨테이너의 레이어에 삽입되어 있는 다양한 정보가 추출되어, CPU(210)에 보내진다. 또한, 디멀티플렉서(202)에서는, 축적 매체(212)에서의 기록 재생을 거친 트랜스포트 스트림(방송 배신 다중화 데이터)에 대해서도 마찬가지의 처리가 이루어진다.

디코더(204)에서는, 압축 데이터 버퍼(203)에 축적되어 있는 소정 수의 비디오 스트림이 소정의 디코드 타이밍에 취출되어, 복호화 처리가 실시되고, 그룹 픽처(다화상 배치 화상)를 구성하는 각 화상의 화상 데이터가 얻어져, 비압축 데이터 버퍼(205)에 일시적으로 축적된다. 이때, 디코더(204)에서는, 비디오 스트림의 레이어에 삽입되어 있는 다양한 정보가 추출되어, CPU(210)에 보내진다.

가상 디스플레이 버퍼(206)에서는, 비압축 데이터 버퍼(205)에 축적되어 있는 그룹 픽처를 구성하는 각 화상의 화상 데이터가 취득되고, 각 화상에 대응한 영역에 일시적으로 축적된다. 비압축 데이터 버퍼(205)로부터 가상 디스플레이 버퍼(206)로의 판독은, 예를 들어 PTS(Presentation Time Stamp)에 의존한 타이밍에 행해진다.

이렇게 가상 디스플레이 버퍼(206)에 축적된 그룹 픽처를 구성하는 각 화상의 화상 데이터 중, 유저가 지정한 위치 및 크기의 영역이, 적당한 타이밍에 판독되어, 스케일러(207)에서 사이즈(해상도) 변환된 후에, 디스플레이(208)에 보내진다. 이에 의해, 디스플레이(208)에는, 그룹 픽처 중 유저가 지정한 표시 영역의 표시가 행해진다.

이 경우, 리니어 서비스의 동화상 데이터는, 서비스 수신으로부터 고정 시간의 지연 후, 표시에 이른다. 한편, 정지 화상 서비스에 있어서는, 유저의 기호에 따른 시청 시간의 자유도가 있기 때문에, 유저로부터의 표시 내용의 갱신 지시는 부정기적이다. 그로 인해, 표시 기간을 포함하여 수신기(200) 내의 지연량은 일정하지는 않다.

가상 디스플레이 버퍼(206)는, 그 지연 시간과 수신 스트림에 있어서 미리 부호화 배신된 타이밍과의 차이를 흡수한다. 가상 디스플레이 버퍼(206)가 오버플로우되기 전에, 리니어 서비스의 경우에는, 수신기(200)는, 수신 스트림을 축적 매체(212)에 기록하거나, 또는 서비스 수신을 일시 중지하는 등의 판단을 행한다.

또한, 수신기(200)가, 방송파로부터 동화상 또는 정지 화상의 다운로드 서비스를 받을 때에는, 튜너(201) 경유의 파일은, 일단 축적 매체(212)에서 축적되거나, 또는 디멀티플렉서(202)로부터 축적 매체(212)에 축적을 행하면서, 동시에 디코더(204)에서 디코드가 행해지고, 가상 디스플레이 버퍼(206)에서 그룹 픽처가 구성되어, 표시에 이른다.

이어서, 수신기(200)가 넷 배신을 받은 경우에 대하여 설명한다. 게이트웨이/네트워크 라우터부(209)에 의해, 정지 화상 리니어 서비스, 동화상 리니어 서비스가 수신되어, MP4(IP 배신 데이터)가 얻어진다. 이 MP4는, 디멀티플렉서(202)에 보내진다.

디멀티플렉서(202)에서는, MP4(IP 배신 데이터)로부터, 소정 수의 비디오 스트림이 추출되어, 압축 데이터 버퍼(203)에 일시적으로 축적된다. 이때, 디멀티플렉서(202)에서는, 컨테이너의 레이어에 삽입되어 있는 다양한 정보가 추출되어, CPU(210)에 보내진다. 또한, 디멀티플렉서(202)에서는, 축적 매체(212)에서의 기록 재생을 거친 MP4(IP 배신 데이터)에 대해서도 마찬가지의 처리가 이루어진다.

가상 디스플레이 버퍼(206)에서는, 비압축 데이터 버퍼(205)에 축적되어 있는 그룹 픽처를 구성하는 각 화상의 화상 데이터가 취득되어, 각 화상에 대응한 영역에 일시적으로 축적된다. 비압축 데이터 버퍼(205)로부터 가상 디스플레이 버퍼(206)로의 판독은, 예를 들어 PTS(Presentation Time Stamp)에 의존한 타이밍에 행해진다.

가상 디스플레이 버퍼(206)는, 그 지연 시간과 수신 스트림에 있어서 미리 부호화 배신된 타이밍과의 차이를 흡수한다. 가상 디스플레이 버퍼(206)가 오버플로우되기 전에, 리니어 서비스(멀티캐스트)의 경우에는, 수신기(200)는, 수신 스트림을 축적 매체(212)에 기록하거나, 또는 서비스 수신을 일시 중지하는 등의 판단을 행한다. 또는, 순간적으로 VOD(unicast 서비스)로 이행하여, VOD 배신 서버에 대하여 재생 제어 명령(재생 개시, 포즈, 리줌, 스톱 등)을 송신한다.

수신기(200)가 넷 배신으로부터 동화상 또는 정지 화상의 다운로드 서비스를 받을 때에는, 게이트웨이/네트워크 라우터부(209) 경유의 파일은, 일단 축적 매체(212)에 축적되고, 또는 디멀티플렉서(202)로부터 축적 매체(212)로 축적을 행하면서, 동시에 디코더(204)에 있어서 디코드가 행해져, 가상 디스플레이 버퍼(206)에서 그룹 픽처가 구성되어, 표시에 이른다.

그 때, 수신기(200)는, 가상 디스플레이 버퍼(206)가 오버플로우되기 전에, 다운로드 수신을 일시적으로 중지하고, 이후의 타이밍에 재개하도록 수신기 설정을 행한다. 넷 배신 서비스에서의 다운로드 수신은, 리니어 서비스의 수신과 마찬가지로, 가상 디스플레이 버퍼(206)에서 흡수할 수 없는 경우에는, 축적 매체(212)를 이용하거나, 또는 VOD(unicast 서비스)로 이행하여, VOD 배신 서버에 대하여 재생 제어 명령(재생 개시, 포즈, 리줌, 스톱 등)을 송신한다.

상술한 바와 같이, 도 1에 도시하는 배신 시스템(10)에 있어서는, 다화상 배치의 배신 서비스에 관한 복수의 화상의 부호화 화상 데이터를 포함하는, 소정 수의 비디오 스트림을 갖는 소정 포맷의 컨테이너를 RF 전송로 또는 통신 네트워크를 통하여 수신측에 송신할 때, 비디오 스트림의 레이어에 복수의 화상의 배치 위치를 나타내는 위치 정보(location_id)가 삽입되는 것이다. 그 때문에, 예를 들어 수신측에서는 그룹 픽처(다화상 배치 화상)를 구성하는 복수의 화상의 배치를 효율적으로, 또한 적절하게 행하는 것이 가능하게 된다.

또한, 도 1에 도시하는 배신 시스템(10)에 있어서는, 수신기(200)에서는, 디코드 후의 그룹 픽처를 구성하는 복수의 화상의 화상 데이터가 위치 정보에 기초하여 배치되고, 그룹 픽처의 화상 데이터가 얻어지는 것이다. 그 때문에, 예를 들어 그룹 픽처의 화상 데이터를 효율적으로, 또한 적절하게 얻는 것이 가능하게 된다.

<2. 변형예>

또한, 본 기술은, MPEG-DASH 베이스의 배신 시스템에도 적용할 수 있다. 도 29는 MPEG-DASH 베이스의 배신 시스템(10A)의 구성예를 도시하고 있다. 이 배신 시스템(10A)은, DASH 세그먼트 스트리머(11) 및 DASH MPD 서버(12)에, N개의 IPTV 클라이언트(13-1, 13-2, …, 13-N)가, CDN(Content Delivery Network)(14)을 통하여 접속된 구성으로 되어 있다.

DASH 세그먼트 스트리머(11)는, 소정의 콘텐츠의 미디어 데이터(비디오 데이터, 오디오 데이터, 자막 데이터 등)에 기초하여, DASH 사양의 스트림 세그먼트(이하, 「DASH 세그먼트」라고 함)를 생성하고, IPTV 클라이언트로부터의 HTTP 요구에 따라서 세그먼트를 송출한다. 이 DASH 세그먼트 스트리머(11)는, 웹(Web) 서버이다.

또한, DASH 세그먼트 스트리머(11)는, IPTV 클라이언트(13(13-1, 13-2, …, 13-N))로부터 CDN(14)을 통하여 보내져 오는 소정 스트림의 세그먼트의 요구에 대응하여, 그 스트림의 세그먼트를, CDN(14)을 통하여, 요구원의 IPTV 클라이언트(13)에 송신한다.

DASH MPD 서버(12)는, DASH 세그먼트 스트리머(11)에 있어서 생성되는 DASH 세그먼트를 취득하기 위한 MPD 파일을 생성하는 서버이다. 콘텐츠 메니지먼트 서버(도 29에는 도시하지 않음)로부터의 콘텐츠 메타 데이터와, DASH 세그먼트 스트리머(11)에 있어서 생성된 세그먼트의 어드레스(url)를 바탕으로, MPD 파일을 생성한다.

MPD의 포맷에서는, 비디오나 오디오 등의 각각의 스트림마다 레프리젠테이션(Representation)이라는 요소를 이용하여, 각각의 속성이 기술된다. 예를 들어, MPD 파일에는, 다화상 배치의 배신 서비스에 관한 복수의 화상의 부호화 데이터를 포함하는, 소정 수의 비디오 스트림마다, 레프리젠테이션을 나누어, 기술된다. 또한, MPD 파일에는, 그 소정 수의 비디오 스트림을 항상 읽어들이는 것을 나타내는 정보가 기술된다. IPTV 클라이언트(13)는, 다화상 배치의 배신 서비스를 받을 경우, 이 MPD 파일의 기술을 참고로 하여, 소정 수의 비디오 스트림을 취득한다.

MPD 파일은, 도 30에 도시하는 바와 같이, 계층 구조를 취한다. 이 MPD 파일에는, DASH 세그먼트 스트리머(11)에 저장한 동화상의 압축 방식이나 부호화 속도, 화상 사이즈, 언어 등의 정보가 XML 형식으로 계층적으로 기술된다. 이 MPD 파일은, 피리어드(Period), 어댑테이션 세트(Adaptation Set), 레프리젠테이션(Representation), 세그먼트 인포(Segment Info), 이니셜라이제이션·세그먼트(Initialization Segment), 미디어·세그먼트(Media Segment) 등의 구조체가, 계층적으로 포함되어 있다.

피리어드의 구조체는, 프로그램(동기화된 1조의 동화상이나 음성 등의 데이터)의 정보를 갖는다. 또한, 피리어드의 구조체에 포함되는 어댑테이션 세트의 구조체는, 스트림의 선택 범위(레프리젠테이션 군)를 그룹으로 분류한다. 또한, 어댑테이션 세트의 구조체에 포함되는 레프리젠테이션의 구조체는, 동화상이나 음성의 부호화 속도, 동화상의 음성 사이즈 등의 정보를 갖는다.

또한, 레프리젠테이션의 구조체에 포함되는 세그먼트 인포의 구조체는, 동화상이나 음성의 세그먼트 관련 정보를 갖는다. 또한, 세그먼트 인포의 구조체에 포함되는 이니셜라이제이션·세그먼트의 구조체는, 데이터 압축 방식 등의 초기화 정보를 갖는다. 또한, 세그먼트 인포의 구조체에 포함되는 미디어·세그먼트의 구조체는, 동화상이나 음성의 세그먼트를 취득하는 어드레스 등의 정보를 갖는다.

도 31은 상술한 MPD 파일에 계층적으로 배치되어 있는 각 구조체의 관계의 일례를 도시하고 있다. 도 31의 (a)에 도시하는 바와 같이, MPD 파일 전체적인 미디어·프리젠테이션(Media Presentation)에는, 시간 간격으로 구획된 복수의 피리어드(Period)가 존재한다. 예를 들어, 최초의 피리어드는 스타트가 0초부터, 다음 피리어드는 스타트가 100초부터, 등으로 되어 있다.

도 31의 (b)에 도시하는 바와 같이, 피리어드에는, 복수의 레프리젠테이션(Representation)이 존재한다. 이 복수의 레프리젠테이션에는, 상술한 어댑테이션 세트(Adaptation Set)로 그룹 분류되는, 예를 들어 다화상 배치의 배신 서비스에 관한 복수의 화상의 부호화 데이터를 포함하는, 소정 수의 비디오 스트림에 관한 레프리젠테이션 군이 존재한다.

도 31의 (c)에 도시하는 바와 같이, 레프리젠테이션에는, 세그먼트 인포(SegmentInfo)가 포함되어 있다. 이 세그먼트 인포에는, 도 31의 (d)에 도시하는 바와 같이, 이니셜라이제이션·세그먼트(Initialization Segment)와, 피리어드를 더욱 미세하게 구획한 세그먼트(Segment)마다의 정보가 기술되는 복수의 미디어·세그먼트(Media Segment)가 존재한다. 미디어·세그먼트에는, 비디오나 오디오 등의 세그먼트 데이터를 실제로 취득하기 위한 어드레스(url)의 정보 등이 존재한다.

도 32는 콘텐츠로부터 DASH 세그먼트나 DASH MPD 파일을 생성할 때까지의 플로우의 일례를 도시하고 있다. 콘텐츠 메니지먼트 서버(15)로부터 DASH 세그먼트 스트리머(11)에 콘텐츠가 송부된다. DASH 세그먼트 스트리머(11)는, 그 콘텐츠를 구성하는 비디오 데이터, 오디오 데이터 등에 기초하여, 각 데이터 스트림의 DASH 세그먼트를 생성한다.

또한, DASH 세그먼트 스트리머(11)는, 생성한 각 데이터 스트림의 DASH 세그먼트의 어드레스(url)의 정보를, DASH MPD 서버(12)에 송부한다. 콘텐츠 메니지먼트 서버(15)는, 콘텐츠의 메타데이터를, DASH MPD 서버(12)에 송부한다. DASH MPD 서버(12)는 각 데이터 스트림의 DASH 세그먼트의 어드레스 정보와, 콘텐츠의 메타데이터에 기초하여, DASH MPD 파일을 생성한다.

도 33은 IPTV 클라이언트(13(13-1 내지 13-N))의 구성예를 도시하고 있다. IPTV 클라이언트(13)는, 스트리밍 데이터 제어부(131)와, HTTP 액세스부(132)와, 동화상 재생부(133)를 갖고 있다. 스트리밍 데이터 제어부(131)는, DASH MPD 서버(12)로부터 MPD 파일을 취득하여, 그 내용을 해석한다.

HTTP 액세스부(132)는, 동화상 재생에 사용하는 동화상이나 음성의 세그먼트를 DASH 세그먼트 스트리머(11)에 요구한다. 여기서, HTTP 액세스부(132)는, 다화상 배치의 배신 서비스를 받을 경우, MPD 파일의 기술을 참고로 하여, 다화상 배치의 배신 서비스에 관한 복수의 화상의 부호화 데이터를 포함하는, 소정 수의 비디오 스트림의 세그먼트를 요구한다.

HTTP 액세스부(132)는, 수취한 동화상이나 음성의 세그먼트를 동화상 재생부(133)에 보낸다. 동화상 재생부(133)는, HTTP 액세스부(132)로부터 보내져 오는 각 세그먼트에 복호 처리를 실시하고, 그룹 픽처(다화상 배치 화상)를 구성하는 각 화상의 화상 데이터 및 그것에 부수되는 음성 데이터 등을 얻어, 화상이나 음성을 재생한다. 또한, IPTV 클라이언트(13)의 각 부의 처리는 예를 들어 소프트웨어에 의해 행해진다.

도 34는 일반적인 DASH 베이스의 스트림 배신 시스템의 계를 도시하고 있다. DASH MPD 파일도, DASH 세그먼트도, 모두 CDN(Content Delivery Network)(14)을 통하여 배신된다. CDN(14)은, 복수의 캐시 서버(DASH 캐시 서버)가 네트워크 배열된 구성으로 되어 있다.

캐시 서버는, IPTV 클라이언트(13)로부터의 MPD 파일의 취득을 위한 HTTP 리퀘스트를 받는다. 캐시 서버는, 로컬 MPD 캐시에 있으면, IPTV 클라이언트(13)에 HTTP 리스펀스로서 돌려준다. 또한, 캐시 서버는, 로컬 MPD 캐시에 없으면, 그 리퀘스트를 DASH MPD 서버(12) 또는 상위의 캐시 서버에 전송한다. 그리고, 캐시 서버는, MPD 파일이 저장된 HTTP 리스펀스를 받아, IPTV 클라이언트(13)에 전송함과 함께, 캐시 처리를 행한다.

또한, 캐시 서버는, IPTV 클라이언트(13)로부터의 DASH 세그먼트 취득의 HTTP 리퀘스트를 받는다. 캐시 서버는, 로컬 세그먼트 캐시에 있으면, IPTV 클라이언트(13)에 HTTP 리스펀스로서 돌려준다. 또한, 캐시 서버는, 로컬 세그먼트 캐시에 없으면, 그 리퀘스트를 DASH 세그먼트 스트리머(11) 또는 상위의 캐시 서버에 전송한다. 그리고, 캐시 서버는, DASH 세그먼트가 저장된 HTTP 리스펀스를 받아, IPTV 클라이언트(13)에 전송함과 함께, 캐시 처리를 행한다.

CDN(14)에서는, 가장 먼저 HTTP 리퀘스트를 발한 IPTV 클라이언트(13-1)로 배신되는 DASH 세그먼트가, 경로의 캐시 서버에 일시적으로 저장되고, 후속의 다른 IPTV 클라이언트(13-2)로부터의 HTTP 리퀘스트에 대해서는, 그 저장된 DASH 세그먼트가 배신된다. 그로 인해, 대다수의 IPTV 클라이언트에 대한 HTTP 스트리밍의 배신 효율을 향상시킬 수 있다.

CDN(14)은, 복수의 캐시 서버 이외에, 소정 개수의 캐시 관리 서버를 갖고 있다. 이 캐시 관리 서버는, MPD 파일에 포함되는 각 비디오 데이터 스트림의 DASH 세그먼트의 캐시에 관한 지표에 기초하여, 캐시 제어 폴리시를 제작하여, 각 캐시 서버에 배포한다. 각 캐시 서버는, 이 캐시 제어 폴리시에 기초하여, 각 비디오 데이터 스트림의 DASH 세그먼트의 캐싱 처리를 행한다.

도 35는 FragmentedMP4 스트림의 구성예를 도시하고 있다. 비디오의 FragmentedMP4 스트림에는, 비디오 스트림을 패킷화하여 얻어진 FragmentedMP4가 포함되어 있다. FragmentedMP4의 「mdat」의 부분에 비디오 스트림의 소정 픽처분이 삽입된다. 이 비디오 스트림에는, 상술한 실시 형태와 마찬가지로, 액세스 유닛마다, 그룹 픽처 태그 SEI(Group_picture_tag SEI) 메시지가 삽입된다. 그리고, 상술한 실시 형태와 마찬가지로, IPTV 클라이언트(13)에서는, 예를 들어 그룹 픽처를 구성하는 각 화상의 위치 정보(「location_id」)에 기초하여, 각 화상의 배치가 효율적으로, 또한 적절하게 행해진다.

또한, 트랜스포트 스트림을 그대로 DASH에서 보내는 경우도 있다. 그 경우에는, 멀티 스트림 서비스 디스크립터(multi_stream_service_descriptor), 믹스트 스트림 디스크립터(mixed_stream_descriptor), 픽처 라이프 타임 디스크립터(Picture_lifetime_descriptor)가 삽입된 트랜스포트 스트림이 그대로 보내진다.

도 36, 도 37은, 다화상 배치의 배신 서비스에 있어서의 MPD 파일의 기술 예를 도시하고 있다. 도 36의 「Adaptation Set」의 계층에서, 「parallelStream ="4"」의 기술은, 4개의 스트림을 항상 읽는 것을 나타내고 있다. 또한, 「frameRate ="0"」의 기술은 프레임 레이트가 0인 것, 즉 정지 화상 스트림임을 나타내고 있다. 그리고, 도 37에 도시하는 바와 같이, 4개의 스트림에 각각 대응하여, 4개의 레프리젠테이션(Representation)이 존재한다.

이와 같이, 다화상 배치의 배신 서비스의 경우, MPD 파일에, 다화상 배치의 배신 서비스에 관한 복수의 화상의 부호화 데이터를 포함하는, 소정 수의 비디오 스트림을 항상 읽는 것이 기술된다. 그로 인해, IPTV 클라이언트(13)에서는, 그룹 픽처를 구성하는 각 화상의 화상 데이터, 그에 따라 그룹 픽처의 화상을 양호하게 얻는 것이 가능하게 된다.

또한, 본 기술은, 이하와 같은 구성을 취할 수도 있다.

(1) 다화상 배치의 배신 서비스에 관한 복수의 화상의 부호화 화상 데이터를 포함하는, 소정 수의 비디오 스트림을 갖는 소정 포맷의 컨테이너를 송신하는 송신부와,

상기 비디오 스트림의 레이어에, 상기 복수의 화상의 배치 위치를 나타내는 위치 정보를 삽입하는 정보 삽입부를 구비하는,

송신 장치.

(2) 상기 정보 삽입부는, 상기 복수의 화상의 표시 타이밍을 조정하기 위한 오프셋 정보를, 상기 비디오 스트림의 레이어에 더 삽입하는,

상기 (1)에 기재된 송신 장치.

(3) 상기 정보 삽입부는, 상기 다화상 배치의 타입을 나타내는 타입 정보를, 상기 비디오 스트림의 레이어에 더 삽입하는

상기 (1) 또는 (2)에 기재된 송신 장치.

(4) 상기 정보 삽입부는, 상기 복수의 화상의 표시 시의 로테이션 타입을 나타내는 타입 정보를, 상기 비디오 스트림의 레이어에 더 삽입하는

상기 (1) 내지 (3) 중 어느 하나에 기재된 송신 장치.

(5) 상기 정보 삽입부는, 상기 복수의 화상의 표시 가능한 시간이 제어되는지 여부를 나타내는 라이프 타임 정보를, 상기 비디오 스트림의 레이어에 더 삽입하는

상기 (1) 내지 (4) 중 어느 하나에 기재된 송신 장치.

(6) 상기 정보 삽입부는, 상기 컨테이너의 레이어에, 상기 다화상 배치의 배신 서비스임을 식별하는 식별 정보를 더 삽입하는

상기 (1) 내지 (5) 중 어느 하나에 기재된 송신 장치.

(7) 상기 정보 삽입부는, 상기 컨테이너의 레이어에, 상기 다화상 배치의 배신 서비스가, 동화상 정지 화상의 혼재 서비스인지 여부를 식별하는 식별 정보를 더 삽입하는

상기 (6)에 기재된 송신 장치.

(8) 상기 정보 삽입부는, 상기 컨테이너의 레이어에, 상기 다화상 배치의 배신 서비스에 관여하는 상기 비디오 스트림의 총수의 정보를 더 삽입하는

상기 (1) 내지 (7) 중 어느 하나에 기재된 송신 장치.

(9) 상기 정보 삽입부는, 상기 컨테이너의 레이어에, 상기 각 비디오 스트림이 동화상 스트림인지, 정지 화상 스트림인지, 또는 정지 화상 동화상 혼재의 혼재 스트림인지를 나타내는 타입 정보를 더 삽입하는

상기 (1) 내지 (8) 중 어느 하나에 기재된 송신 장치.

(10) 다화상 배치의 배신 서비스에 관한 복수의 화상의 부호화 데이터를 포함하는, 소정 수의 비디오 스트림을 갖는 소정 포맷의 컨테이너를 송신하는 송신 스텝과,

상기 비디오 스트림의 레이어에, 상기 복수의 화상의 배치 위치를 나타내는 위치 정보를 삽입하는 정보 삽입 스텝을 갖는

송신 방법.

(11) 다화상 배치의 배신 서비스에 관한 복수의 화상의 부호화 화상 데이터를 포함하고, 상기 복수의 화상의 배치 위치를 나타내는 위치 정보가 삽입되어 있는 소정 수의 비디오 스트림을 수신하는 수신부와,

수신 장치.

(12) 상기 디코드부에서 얻어진 상기 복수의 화상의 화상 데이터를 일시적으로 축적하는 디코디드 버퍼와,

상기 다화상 배치의 화상 데이터를 일시적으로 축적하는 가상 디스플레이 버퍼를 더 구비하고,

상기 처리부는, 상기 디코디드 버퍼로부터 상기 복수의 화상의 화상 데이터를 순차 판독하고, 상기 가상 디스플레이 버퍼의 상기 위치 정보가 나타내는 배치 위치에 따른 영역에 기입하는

상기 (11)에 기재된 수신 장치.

(13) 상기 가상 디스플레이 버퍼로부터 상기 다화상 배치 화상의 일부 또는 전부의 표시 영역에 대응한 화상 데이터를 판독하고, 상기 표시 영역의 화상을 표시하는 표시 제어부를 더 구비하는

상기 (12)에 기재된 수신 장치.

(14) 상기 표시 제어부에 상기 표시 영역을 지시하는 유저 조작부를 더 구비하는

상기 (13)에 기재된 수신 장치.

(15) 상기 표시 제어부에 상기 표시 영역의 화상을 표시하는 디스플레이의 수를 지시하는 유저 조작부를 더 구비하는

상기 (14)에 기재된 수신 장치.

(16) 상기 소정 수의 비디오 스트림 송신의 정지 및 재개의 요구를 송신측에 보내는 요구 송신부를 더 구비하는

상기 (11) 내지 (15) 중 어느 하나에 기재된 수신 장치.

(17) 다화상 배치의 배신 서비스에 관한 복수의 화상의 부호화 데이터를 포함하고, 상기 복수의 화상의 배치 위치를 나타내는 위치 정보가 삽입되어 있는 소정 수의 비디오 스트림을 갖는 소정 포맷의 컨테이너를 수신하는 수신 스텝과,

상기 소정 수의 비디오 스트림을 디코딩하여 상기 복수의 화상의 화상 데이터를 얻는 디코드 스텝과,

상기 디코드 후의 복수의 화상의 화상 데이터를 상기 위치 정보에 기초해서 배치하여 다화상 배치 화상의 화상 데이터를 얻는 처리 스텝을 갖는

수신 방법.

(18) 배신 서버가 네트워크를 통하여 배신 가능한 다화상 배치의 배신 서비스에 관한 복수의 화상의 부호화 화상 데이터를 포함하는, 소정 수의 비디오 스트림을 클라이언트 단말기가 취득하기 위한 정보를 갖는 메타 파일을 생성하는 메타 파일 생성부와,

송신 장치.

(19) 상기 메타 파일 생성부는, 상기 메타 파일에, 상기 소정 수의 비디오 스트림이 정지 화상 스트림인지 동화상 스트림인지를 식별하는 식별 정보를 더 포함하는

상기 (18)에 기재된 송신 장치.

본 기술의 주된 특징은, 다화상 배치의 배신 서비스에 관한 복수의 화상의 부호화 화상 데이터를 포함하는, 소정 수의 비디오 스트림을 갖는 소정 포맷의 컨테이너를 RF 전송로 또는 통신 네트워크를 통하여 송신할 때, 비디오 스트림의 레이어에 복수의 화상의 배치 위치를 나타내는 위치 정보(location_id)를 삽입함으로써, 수신측에서는 그룹 픽처(다화상 배치 화상)를 구성하는 복수의 화상의 배치를 효율적으로, 또한 적절하게 행하는 것을 가능하게 한 것이다(도 18 참조).

10, 10A: 배신 시스템
11: DASH 세그먼트 스트리머
12: DASH MPD 서버
13, 13-1 내지 13-N: IPTV 클라이언트
14: CDN
15: 콘텐츠 메니지먼트 서버
110: 방송국
112: 동화상·정지 화상 출력부
113: 비디오 인코더
114: 멀티플렉서
200: 수신기
201: 튜너
202: 디멀티플렉서
203: 압축 데이터 버퍼
204: 디코더
205: 비압축 데이터 버퍼
206: 가상 디스플레이 버퍼
207: 스케일러
208: 디스플레이
209: 게이트웨이/네트워크 라우터
210: CPU
211: 유저 조작부
212: 축적 매체

Claims

송신 장치로서,
회로를 포함하고, 상기 회로는,
복수의 비디오 스트림을 포함하는 컨테이너를 송신하고 - 상기 비디오 스트림들 각각은 복수의 화상의 부호화 화상 데이터, 및 그룹 픽처 식별 정보 및 위치 식별 정보를 포함하는 위치 정보의 대응하는 부분을 포함하고, 상기 그룹 픽처 식별 정보는 상기 비디오 스트림들에 따라 형성되는 그룹 픽처를 식별하고, 상기 위치 식별 정보는 상기 비디오 스트림들로부터의 각각의 화상을 그룹 픽처로 배치하기 위한 상기 그룹 픽처 내의 배치 위치를 나타냄 -;
상기 위치 정보의 부분들을 상기 컨테이너에 삽입하도록 구성되는 송신 장치.
제1항에 있어서,
상기 회로는, 상기 복수의 화상의 표시 타이밍을 조정하기 위한 오프셋 정보를 상기 컨테이너에 삽입하도록 더 구성되는 송신 장치.
제1항에 있어서,
상기 회로는, 다화상 배치의 타입을 나타내는 타입 정보를 상기 컨테이너에 삽입하도록 더 구성되는 송신 장치.
제1항에 있어서,
상기 회로는, 상기 복수의 화상의 표시 시의 로테이션 타입을 나타내는 타입 정보를 상기 컨테이너에 삽입하도록 더 구성되는 송신 장치.
제1항에 있어서,
상기 회로는, 상기 복수의 화상의 표시 가능한 시간이 제어되는지 여부를 나타내는 라이프 타임 정보를 상기 컨테이너에 삽입하도록 더 구성되는 송신 장치.
제1항에 있어서,
상기 회로는, 다화상 배치의 배신 서비스임을 식별하는 식별 정보를 상기 컨테이너에 삽입하도록 더 구성되는 송신 장치.
제6항에 있어서,
상기 회로는, 다화상 배치의 배신 서비스가, 동화상 정지 화상의 혼재 서비스인지 여부를 식별하는 식별 정보를 상기 컨테이너에 삽입하도록 더 구성되는 송신 장치.
제1항에 있어서,
상기 회로는, 다화상 배치의 배신 서비스에 관여하는 상기 비디오 스트림의 총수의 정보를 상기 컨테이너에 삽입하도록 더 구성되는 송신 장치.
제1항에 있어서,
상기 회로는, 각 상기 비디오 스트림이 동화상 스트림인지, 정지 화상 스트림인지, 또는 정지 화상 동화상 혼재의 혼재 스트림인지를 나타내는 타입 정보를 상기 컨테이너에 삽입하도록 더 구성되는 송신 장치.
송신 방법으로서,
복수의 비디오 스트림을 포함하는 컨테이너를 송신하는 송신 스텝 - 상기 비디오 스트림들 각각은 복수의 화상의 부호화 화상 데이터, 및 그룹 픽처 식별 정보 및 위치 식별 정보를 포함하는 위치 정보의 대응하는 부분을 포함하고, 상기 그룹 픽처 식별 정보는 상기 비디오 스트림들에 따라 형성되는 그룹 픽처를 식별하고, 상기 위치 식별 정보는 상기 비디오 스트림들로부터의 각각의 화상을 그룹 픽처로 배치하기 위한 상기 그룹 픽처 내의 배치 위치를 나타냄 -; 및
상기 위치 정보의 부분들을 상기 컨테이너에 삽입하는 정보 삽입 스텝을 포함하는 송신 방법.
수신 장치로서,
회로를 포함하고, 상기 회로는,
복수의 비디오 스트림을 포함하는 컨테이너를 수신하고 - 상기 비디오 스트림들 각각은 복수의 화상의 부호화 화상 데이터, 및 그룹 픽처 식별 정보 및 위치 식별 정보를 포함하는 위치 정보의 대응하는 부분을 포함하고, 상기 그룹 픽처 식별 정보는 상기 비디오 스트림들에 따라 형성되는 그룹 픽처를 식별하고, 상기 위치 식별 정보는 상기 비디오 스트림들로부터의 각각의 화상을 그룹 픽처로 배치하기 위한 상기 그룹 픽처 내의 배치 위치를 나타냄 -;
상기 컨테이너에 포함된 상기 비디오 스트림들 및 상기 위치 정보의 부분들을 추출하고;
상기 비디오 스트림들 각각의 상기 부호화 화상 데이터를 디코딩하여 상기 비디오 스트림들 각각의 디코딩된 화상 데이터를 취득하고;
상기 비디오 스트림들 각각의 상기 위치 정보에 따라 상기 비디오 스트림들의 상기 디코딩된 화상 데이터를 상기 그룹 픽처에 배치하도록 구성되는 수신 장치.
제11항에 있어서,
상기 회로는,
상기 디코딩에 의해 취득된 상기 복수의 화상의 화상 데이터를 일시적으로 축적하고;
다화상 배치의 화상 데이터를 일시적으로 축적하고;
상기 축적된 상기 복수의 화상의 화상 데이터를 순차 판독하고, 가상 디스플레이 버퍼의 상기 복수의 화상의 화상 데이터를 상기 위치 정보의 배치 위치에 따른 영역에 기입하도록 더 구성되는 수신 장치.
제12항에 있어서,
상기 회로는 상기 가상 디스플레이 버퍼로부터 상기 다화상 배치 화상의 일부 또는 전부의 표시 영역에 대응한 화상 데이터를 판독하고, 상기 일부 또는 전부의 화상 영역의 화상을 표시하도록 더 구성되는 수신 장치.
제13항에 있어서,
상기 회로는 표시 제어부에 상기 표시 영역을 지시하도록 더 구성되는 수신 장치.
제14항에 있어서,
상기 회로는 상기 표시 제어부에 상기 표시 영역의 화상을 표시하는 디스플레이의 수를 지시하도록 더 구성되는 수신 장치.
제11항에 있어서,
상기 회로는 상기 복수의 비디오 스트림 송신의 정지 및 재개의 요구를 송신측에 보내도록 더 구성되는 수신 장치.
수신 장치로서,
복수의 비디오 스트림을 포함하는 컨테이너를 수신하는 수신 스텝 - 상기 비디오 스트림들 각각은 복수의 화상의 부호화 화상 데이터, 및 그룹 픽처 식별 정보 및 위치 식별 정보를 포함하는 위치 정보의 대응하는 부분을 포함하고, 상기 그룹 픽처 식별 정보는 상기 비디오 스트림들에 따라 형성되는 그룹 픽처를 식별하고, 상기 위치 식별 정보는 상기 비디오 스트림들로부터의 각각의 화상을 그룹 픽처로 배치하기 위한 상기 그룹 픽처 내의 배치 위치를 나타냄 -;
상기 컨테이너에 포함된 상기 비디오 스트림들 및 상기 위치 정보의 부분들을 추출하는 추출 스텝;
상기 비디오 스트림들 각각의 상기 부호화 화상 데이터를 디코딩하여 상기 비디오 스트림들 각각의 디코딩된 화상 데이터를 취득하는 디코드 스텝; 및
상기 비디오 스트림들 각각의 상기 위치 정보에 따라 상기 비디오 스트림들의 상기 디코딩된 화상 데이터를 상기 그룹 픽처에 배치하는 처리 스텝을 포함하는 수신 장치.
송신 장치로서,
회로를 포함하고, 상기 회로는,
복수의 비디오 스트림을 클라이언트 단말기가 취득하기 위한 정보를 포함하는 메타 파일을 생성하고 - 상기 비디오 스트림들 각각은 복수의 화상의 부호화 화상 데이터, 및 그룹 픽처 식별 정보 및 위치 식별 정보를 포함하는 위치 정보의 대응하는 부분을 포함하고, 상기 그룹 픽처 식별 정보는 상기 비디오 스트림들에 따라 형성되는 그룹 픽처를 식별하고, 상기 위치 식별 정보는 상기 비디오 스트림들로부터의 각각의 화상을 그룹 픽처로 배치하기 위한 상기 그룹 픽처 내의 배치 위치를 나타냄 -;
상기 클라이언트 단말기로부터 송신 요구가 있을 때, 네트워크를 통해서, 상기 클라이언트 단말기에, 상기 생성된 메타 파일을 송신하고;
상기 메타 파일에, 상기 복수의 화상의 배치 위치를 나타내는 위치 정보를 삽입하고;
상기 복수의 비디오 스트림을 항상 읽는 것을 나타내는 정보를 포함하는 상기 메타 파일을 생성하도록 구성되는 송신 장치.
제18항에 있어서,
상기 회로는, 상기 복수의 비디오 스트림이 정지 화상 스트림인지 동화상 스트림인지를 식별하는 식별 정보를 더 포함하는 상기 메타 파일을 생성하도록 더 구성되는 송신 장치.