[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN105340281B - 发送装置、发送方法、接收装置和接收方法 - Google Patents

发送装置、发送方法、接收装置和接收方法 Download PDF

Info

Publication number
CN105340281B
CN105340281B CN201480036992.1A CN201480036992A CN105340281B CN 105340281 B CN105340281 B CN 105340281B CN 201480036992 A CN201480036992 A CN 201480036992A CN 105340281 B CN105340281 B CN 105340281B
Authority
CN
China
Prior art keywords
image
video flowing
information
image data
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480036992.1A
Other languages
English (en)
Other versions
CN105340281A (zh
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105340281A publication Critical patent/CN105340281A/zh
Application granted granted Critical
Publication of CN105340281B publication Critical patent/CN105340281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

本发明的目的是能够以有利的方式执行用于多图像布置的分配服务。发送侧以规定格式发送容器，所述容器包括用于有关多图像布置的分配服务的多个图像的编码图像数据并且具有规定数量的视频流。指示多个图像的布置位置的位置信息被插入视频流的层中。接收侧接收和解码该规定数量的视频流，由此获得多个图像的图像数据。基于位置信息布置多个图像的图像数据，由此获得组图片(多图像布置图像)的图像数据。

Description

发送装置、发送方法、接收装置和接收方法
技术领域
本技术涉及发送装置、发送方法、接收装置和接收方法，并且具体涉及提供多图像布置的分配服务(multi-image-arrangement distribution service)的发送装置等。
背景技术
实现或提出了其中经由广播或经由网络流的多个流被多解码并且多个多解码图像被显示在显示器上的多窗口显示的技术。
例如，当多个图像以所谓的P中P(PinP)(画中画)风格显示时，用户可同时观看在大的主窗口上显示的一个频道的节目的图像和在小子窗口上显示的另一个频道的节目的图像。此外，例如，当不同频道的节目的图像在显示器的右半部和左半部并排显示时，用户可同时观看两个频道的节目的图像。
例如，专利文献1公开了一种技术，其中当在正常显示状态下输入多窗口显示指令时，显示状态被迅速切换到多窗口显示器。
专利文献
专利文献1：日本专利申请公开第2000-13712号
发明内容
本发明要解决的问题
例如，发送侧可发送多图像布置的多个图像的图像数据，并且接收侧可处理多个图像的数据、获得多图像布置图像(multi-image-arranged image)并且显示多图像布置图像。在这种情况下，接收侧需要适当地布置多个图像。
本技术的一个目的是成功提供多图像布置分配服务。
解决问题的技术手段
根据本技术的构思提供了一种发送装置，该发送装置包括：
发送单元，发送具有包含多图像布置的分配服务的多个图像的编码图像数据的预定数量的视频流的预定格式的容器；和
信息插入单元，将位置信息插入到所述视频流的层中，所述位置信息指示所述多个图像的布置位置。
根据本技术，发送单元发送具有包含多图像布置的分配服务的多个图像的编码图像数据的预定数量的视频流的预定格式的容器。例如，容器可以是用作数字广播标准的发送流(MPEG-2TS)。或者，例如，容器可以是具有用于经由互联网进行分配的诸如MMT或MP4的另一种格式的容器。信息插入单元将位置信息插入视频流层中，位置信息显示多个图像的布置位置。
如上所述，根据本技术，位置信息被插入在视频流的层中，位置信息指示多个图像的布置位置。因此接收侧能够适当且容易地布置多个图像。
应注意，根据本技术，例如，信息插入单元可进一步将偏移信息(offsetinformation)插入到视频流的层中，偏移信息用于调整多个图像的显示定时。因此接收侧能够调整多图像布置的图像中的多个图像的显示定时，并且匹配多个图像中的显示开始定时(display-start timing)。
此外，根据本技术，例如，信息插入单元可进一步将类型信息插入视频流的层中，类型信息指示多图像布置的类型。因此接收侧能够适当识别多图像布置的类型，并适当地且容易地布置多个图像。此外，根据本技术，例如，在信息插入单元可进一步将寿命信息插入到视频流的层中，寿命信息指示多个图像的允许显示的时间是否被控制。由于这些信息，例如，接收侧能够自动地控制存储在虚拟显示缓冲器(virtual display buffer)中的图像数据的删除。
此外，根据本技术，例如，信息插入单元可进一步将类型信息插入视频流的层中，类型信息指示在显示期间的多个图像的旋转类型。因此，可能显示服务方想要提供的旋转状态下的多个图像。
此外，根据本技术，例如，信息插入单元可进一步将识别信息插入容器层中，识别信息识别多图像布置分配服务。因此接收侧能够容易地识别多图像布置分配服务，并准备该处理。在这种情况下，例如，信息插入单元可进一步将识别信息插入容器层中，识别信息识别多图像布置分配服务是否是运动图像(moving picture)/静止图像(still picture)混合服务。
此外，根据本技术，例如，信息插入单元可进一步将与多图像布置分配服务相关的总数视频流上的信息插入容器层中。因此接收侧能够知道视频流的总数量以很容易地处理，并适当地处理它们。
此外，根据本技术，例如，信息插入单元可进一步将类型信息插入所述容器层中，类型信显示每个视频流是否是运动图像流、静止图像流，或混合流，混合流包含混合的静止图像和运动图像。因此接收侧能够知道视频流的总数量以很容易地处理，并适当地处理它们。
此外，根据本技术的一个概念提供了一种接收装置，该接收装置包括：
接收单元，接收包含多图像布置的分配服务的多个图像的编码图像数据的预定数量的视频流，位置信息被插入到预定数量的视频流中，位置信息指示多个图像的布置位置；
解码单元，解码预定数量的视频流并且获得多个图像的图像数据；和
处理单元，基于位置信息布置解码后的多个图像的图像数据并且获得多图像布置图像的图像数据。
根据本技术，接收单元接收包含多图像布置分配服务的多个图像的编码图像数据的预定数量的视频流，位置信息被插入视频流层中，位置信息显示多个图像的布置位置。解码器单元解码预定数量的视频流，并且获得多个图像的图像数据。
此外，处理单元基于位置信息布置多个解码图像的图像数据，并且获得多图像布置图像的图像数据。例如，接收装置还可包括：解码缓冲器，临时存储由解码器单元获得的多个图像的图像数据；和虚拟显示缓冲器，临时存储多图像布置的图像数据，其中处理单元从解码缓冲器中顺序读取多个图像的图像数据，并将多个图像的图像数据写入对应于虚拟显示缓冲器的位置信息的布置位置的区域。
如上所述，根据本技术，基于位置信息布置多个解码图像的图像数据，并且获得多图像布置图像的图像数据。因此，能够有效地且适当地获得多图像布置图像的图像数据。
应注意，根据本技术，例如，接收装置可进一步包括显示控制器，该显示控制器从虚拟显示缓冲器读取与多图像布置的图像的一部分或所有的显示区域相对应的图像数据，并且在一部分或所有的图像区域中显示图像。在这种情况下，例如，接收装置还可包括用户操作单元，该用户操作单元通知显示控制器显示区域。因此，例如，可以改变在显示器上显示的图像，并基于用户操作在例如尺寸(分辨率)小的显示器上滚动显示较大的多图像布置图像。此外，在这种情况下，例如，接收装置还可包括用户操作单元，该用户操作单元通知显示控制器显示的数量，显示区域的图像被显示在显示器上。
此外，根据本技术，例如，接收装置可进一步包括请求发送单元，该请求发送单元向发送侧发送停止和恢复预定数量的视频流的发送的请求。因此，例如，在没有临时存储在缓冲器中的图像数据溢出的情况下用户可在任意时刻观看包含静止图像的多图像布置图像。
此外，根据本技术的另一构思提供了一种发送装置，包括：
元文件生成器，生成包含由客户终端使用以获得预定数量的视频流的信息的元文件，该预定数量的视频流包含多图像布置的分配服务的多个图像的编码图像数据，分配服务器能够经由网络分配该多图像布置的分配服务；和
元文件发送单元，响应于来自该客户终端的发送请求经由该网络将生成的该元文件发送至该客户终端，其中，
位置信息被插入到该视频流的层中，该位置信息指示该多个图像的布置位置，并且
该元文件生成器包含指示不断读取该预定数量的视频流的信息的元文件。
根据本技术，元文件生成器生成包含由客户终端使用以获得预定数量的视频流的元文件信息。预定数量的视频流包含多图像布置分配服务的多个图像的编码图像数据的预定数量的视频流，分配服务器能够经由网络分配多图像布置分配服务。在这种情况下，位置信息被插入到视频流层中，位置信息显示多个图像的布置位置。
元文件发送单元响应于来自客户终端的发送请求经由网络将元文件发送到客户终端。元文件生成器生成包含指示不断读取该预定数量的视频流的信息的元文件。
如上所述，根据本技术，元文件包含指示不断读取预定数量的视频流的信息。因此接收侧基于元文件的信息不断读取预定数量的视频流。因此能够成功地获得多图像布置图像的图像数据。
应注意，根据本技术，例如，元文件生成器可生成还包含识别信息的元文件，识别信息识别预定数量的视频流是静止图像流还是运动图像流。因此，客户终端能够容易确定预定数量的视频流是静止图像流还是运动图像。
本发明的有益效果
根据本技术，可以成功地提供多图像布置分配服务。应注意，有益效果并非局限于这里所描述的那些并且可以是在本公开中描述的任何效果。
附图说明
[图1]示出实施例的分配系统的结构实例的框图。
[图2]示出水平/垂直方向的二维多图像布置的实例的图。
[图3]示出水平方向的一维多图像布置的实例的图。
[图4]示出包含静止图像的组图片(group picture)的实例的图。
[图5]示出包含运动图像的组图片的实例的图。
[图6]示出包含运动图像的组图片的实例的图。
[图7]示出包含静止图像和运动图像的组图片的实例的图。
[图8]示出通过使用单个流的静止图像(静止图片)服务的分配的实例的图。
[图9]示出通过使用多个流的静止图像(静止图片)服务的分配的实例的图。
[图10]示出通过使用单个流的静止图像(静止图片)和运动图像(运动图片)的混合服务的分配的实例的图。
[图11]示出生成传输流的发送数据生成器的结构实例的框图。
[图12]示出在使用单个流的分配中的传输流的结构实例的图。
[图13]示出在使用多个流的分配中的传输流的结构实例的图。
[图14]示出组图片标签SEI(Group_picture_tag SEI)的结构实例(语法(Syntax))的图。
[图15]示出组图片标签SEI的结构实例的主要信息的内容(语义(Semantics))的图。
[图16]示出基于“display_coordinate”的显示期间的示例旋转的图。
[图17]示出组图片中的图像的显示定时CTP的计算实例的图。
[图18]示出组图片标签SEI上的各种信息以时间序列转移的实例的图。
[图19]示出多流服务描述符(multi_stream_service_descriptor)的结构实例(语法)的图。
[图20]示出多流服务描述符的结构实例的主要信息的内容(语义)的图。
[图21]示出混合流描述符(mixed_stream_descriptor)的结构实例(语法)和结构实例的主信息的内容(语义)的图。
[图22]示出图片寿命描述符(Picture_lifetime_descriptor)的结构实例(语法)和结构实例的主要信息的内容(语义)的结构实例的图。
[图23]示出虚拟显示器(Virtual Display)上的显示区域与图像之间的关系的实例的图。
[图24]示出虚拟显示器上的显示区域的位置和尺寸的实例的图。
[图25]示出虚拟显示器上的显示区域与图像之间的关系的实例的图。
[图26]示出虚拟显示器上的显示区域的位置和尺寸的实例的图。
[图27]示出用于显示全景图像的显示器的结构实例的图。
[图28]为均示出在组图片包含在水平方向上连续的七个图像时的显示区域的实例的图。
[图29]示出基于DASH的流分配系统的结构实例的框图。
[图30]示出MPD文件的层结构的图。
[图31]示出其以分层方式被布置在MPD文件中的结构的关系的实例的图。
[图32]示出基于内容生成DASH片段和DASH MPD文件的流量的实例的图。
[图33]示出流分配系统的IPTV客户的结构实例的图。
[图34]示出基于DASH的一般的流分配系统序列的图。
[图35]示出包含视频流的分段MP4流的结构实例的图。
[图36]示出多图像布置分配服务的MPD文件的描述实例的图。
[图37]示出多图像布置分配服务的MPD文件的描述实例的图。
具体实施方式
在下文中，将描述本发明的实施例(以下称之为“实施例”)。应注意，将按照以下顺序进行描述。
1.实施例
2.变形例
<1.实施例>
[分配系统的结构实例]
图1示出分配系统10的结构实例。在分配系统10中，广播站110、网络分配服务器120和NTP(网络时间协议)分配服务器130被布置在发送侧并且接收器200被布置在接收侧。
广播站110经由RF传输路径提供静止图像和运动图像的线性服务或下载静止图像和运动图像的服务。广播站110发送MPEG2-TS的容器(以下简称为“传输流(transportstream)”)，例如，作为广播分配复用数据。在本实施例中，传输流包括预定数量的视频流，其中的每一个视频流包括多图像布置的分配服务的多个图像(图片)的编码图像数据。
多图像布置的实例包括：其中多个图像被二维布置在水平/垂直方向上的水平/垂直二维多图像布置；其中多个图像被一维布置在水平方向上的水平一维多图像布置；其中多个图像被一维布置在垂直方向上的垂直一维多图像布置；和类似的布置等。
在视频流的层中，除了显示多个图像的布置位置的位置信息外，还插入用于调节多个图像的显示定时的偏移信息、指示多图像布置类型的类型信息、指示在显示多个图像时的旋转类型的类型信息等。例如，如果基于AVC(高级视频编码)、HEVC(高效视频编码)等编码图像数据，这样的信息被插入新定义的SEI消息中。
图2示出水平/垂直方向的二维多图像配置的实例。在这个实例中，四个图像被布置在水平方向上，并且四个图像被布置在垂直方向上。包含4×4图像的多图像布置的图像(以下，根据需要被称为“组图片”)具有对应于虚拟显示器的分辨率。例如，如果一个图像具有HD分辨率，则该组图片具有8K分辨率。
“0000”到“1111”中的每一个均被示出为4位数据，即，每个图像的位置信息。在这种情况下，前2位指示虚拟显示器的四分之一的任何一个位置。此外，后2位指示各四分之一的小四分之一中的任何一个位置。此外，“图片渲染类型(Picture rendering type)”指示多图像布置类型的类型信息。“图片渲染类型＝011”指示水平/垂直方向的二维多图像布置。
图3示出水平方向的一维多图像配置的实例。在这个实例中，五个图像被布置在水平方向上。包含五个图像的组图片具有与虚拟显示器的分辨率相对应的分辨率。例如，如果一个图像具有HD分辨率，则组图片具有水平方向上的HD分辨率的5倍的分辨率。
“1110”、“1111”、“0000”、“0001”或“0010”是指示各图像的位置信息的4位数据。例如，在水平方向的一维多图像布置中，正面图像的位置信息是“0000”，前面右侧处的第N个图像的位置信息是“0000+N”，并且前面左侧处的第N个图像的位置信息是“0000-N”
应注意，这类似于水平一维多图像布置的实例，故将省略垂直一维多图像配置的实例的描述。
此外，在传输流的层中，插入指示多图像布置的分配服务的识别信息、识别分配服务是否是运动图像/静止图像的混合服务的识别信息、与多图像布置分配服务相关的视频流的总数等。这样的信息在新定义的描述符中被描述，其例如被插入节目映射表(programmap table)(PMT)下面。
一个视频流包含一个图像或多个图像的编码图像数据。此外，视频流是运动图像流、静止图像流或运动/静止图像混合流。
图4示出静止图像的组图片的实例。在这个实例中，组图片包含2×2个图像(静止图像)。此外，在这个实例中，一个视频流分时发送图像的编码图像数据。在这种情况下，接收侧串行解码图像的编码数据，并且基于其位置信息将各个图像的图像数据写入虚拟显示缓冲器的区域中。
图5示出运动图像的组图片的实例。在这个实例中，组图片包含2×2个图像(运动图像)。此外，在这个实例中，一个视频流分时发送图像的编码图像数据。在这种情况下，接收侧串行解码图像的编码数据并且基于其位置信息将各个图像的图像数据写入虚拟显示缓冲器的区域中。
图6示出运动图像的组图片的实例。在这个实例中，组图片包含2×2个图像(运动图像)。此外，在这个实例中，四个视频流发送图像的编码图像数据。在这种情况下，接收侧解码图像的编码数据并且基于其位置信息将各个图像的图像数据写入虚拟显示缓冲器的区域中。
图7示出静止图像和运动图像的组图片的实例。在这个实例中，组图片包含2×2个图像(静止图像，运动图像)。此外，在这个实例中，一个视频流发送图像的编码图像数据。在这种情况下，图像3(图片3)包含静止图像和运动图像。在这种情况下，接收侧解码图像的编码数据并且基于其位置信息将各图像的图像数据写入虚拟显示缓冲器的区域中。
图8示出通过使用单个流进行静止图像(静止图片)服务的分配的实例。在这个实例中，该组图片包含2×2个图像。在图8中，具有带圈数字的矩形单元表示访问单元。该实例示出HEVC编码。应注意，每个带圈数字“1”至“4”指示图像1(图片1)到图像4(图片4)中的每一个的编码图像数据。
首先，图像1(图片1)到图像4(图片4)的静止图像的编码图像数据被依次发送。接下来，发送图像3(图片3)的更新的编码图像数据。接下来，进一步地发送图像3(图片3)的更新的编码图像数据。接下来，图像1(图片1)到图像4(图片4)的更新的编码图像数据被依次发送。
应注意，“group_picture_start”是指组图片在某一时间点开始被更新和显示。同时，“group_picture_end”是指组图片在某一时间点结束更新和显示。这样的信息被插入到视频流层中，如下所述。这同样适用于以下实例。
图9示出通过使用多个流进行静止图像(静止图片)服务的分配的实例。在这个实例中，该组图片包含2×2个图像。在图8中，具有带圈数字的矩形单元表示访问单元。应注意，带圈数字“1”至“4”中的每一个指示包含图像1(图片1)到图像4(图片4)中的每一个的编码图像数据。
首先，图像1(图片1)到图像4(图片4)的编码图像数据分别通过使用视频流1至4来串行发送。接下来，通过使用视频流3来发送图像3(图片3)的更新的编码图像。接下来，进一步，通过使用视频流3来发送图像3(图片3)的更新的编码图像。接下来，分别通过使用视频流1至4来顺序发送图像1(图片1)到图像4(图片4)的更新编码图像数据。
图10示出通过使用单个流进行静止图像(静止图片)和运动图像(运动图片)的混合服务的分配的实例。在这个实例中，该组图片包含2×2个图像。在图8中，具有带圈数字的矩形单元表示访问单元。应注意，带圈数字“1”至“4”中的每一个指示包含图像1(图片1)到图像4(图片4)中的每一个的编码图像数据。
首先，依次发送图像1(图片1)到图像4(图片4)的静止图像的编码图像数据。接下来，发送图像3(图片3)的运动图像的编码图像数据。接下来，图像1(图1)到图像4(图片4)的静止图像的更新编码图像数据被依次发送。
图11示出广播站110的生成传输流的发送数据发生器110的结构实例。发送数据发生器110包括移动/静止图像输出单元112、视频编码器113和多路复用器114。
移动/静止图像输出单元112输出多图像布置分配服务的图像的多个图像的图像数据。运动/静止图像输出单元112包括例如摄像机，其捕捉物体的图像并输出图像数据；图像数据读取器，其读取记录介质中的图像数据并输出图像数据；或类似装置。在静止图像服务(例如，参见图4)中，输出多个静止图像的图像数据。在运动图像服务(例如，参见图5和图6)中，输出多个运动图像的图像数据。此外，在运动/静止图像混合服务(例如，参见图7)中，输出多个运动图像和静止图像的图像数据。
视频编码器113基于例如AVC、HEVC等编码从移动/静止图像输出单元112输出的多个图像的图像数据，并且获得编码图像数据。此外，视频编码器113通过在后面阶段使用流格式化器生成包含编码图像数据的预定数量的视频流(视频基本流)。在这种情况下，一个视频流包含多图像配置的一个图像的编码图像数据，或可包含多图像布置的多个图像的编码图像数据。
在这里，除了示出多个图像的布置位置外，视频编码器113还在视频流层中插入用于调节多个图像的显示定时的偏移信息、指示在显示多个图像等时的多图像布置类型的类型信息等。如果基于AVC(高级视频编码)、HEVC(高效视频编码)等编码图像数据，则这样的信息被插入新定义的SEI消息中。将在后面详细描述这样的信息。
多路复用器114生成由视频编码器113生成的视频流的包、多路复用数据包并且生成传输流。此处，多路复用器114在容器层(系统层)中插入指示多图像布置分配服务的识别信息、识别分配服务是否是移动/运动图像混合服务的识别信息、与多图像布置分配服务相关的视频流的总数等。在新定义的描述符中描述这样的信息，其被插入例如节目映射表(PMT)下面。将在后面详细这样的信息。
将粗略描述图11的发送数据生成器110的行为。运动/静止图像输出单元112输出多图像布置分配服务的多个图像的图像数据。将图像数据提供给视频编码器113。视频编码器113基于例如AVC、HEVC等编码图像数据，并获得编码图像数据。此外，视频编码器113生成包含编码图像数据的预定数量的视频流。
此时，除了示出多个图像的布置位置的位置信息外，视频编码器113通过使用例如新定义的SEI消息还在视频流层中插入例如用于调节多个图像的显示定时的偏移信息、指示多图像布置类型的类型信息、指示在显示多个图像时的旋转类型的类型信息等。
此外，从视频编码器113输出的预定数量的视频流被提供给多路复用器114。多路复用器114生成视频流的包，多路复用数据包并且生成传输流。此时，多路复用器114通过使用新定义的描述符在发送流层中插入指示多图像布置分配服务的识别信息、识别分配服务是否是移动/静止图像混合服务的识别信息与多图像布置分配服务相关的视频流的总数等。
[TS结构、SEI消息结构和描述符结构]
图12示出在使用单个流进行的分配中的传输流的结构实例。传输流包含一个视频流。换言之，根据本结构实例，具有包含编码图像数据的视频流的PES数据包“视频PES1”。视频流包含多图像布置分配服务的多个图像的编码图像数据。
在视频流中，针对各图像的编码图像数量的各访问单元插入组图片标签SEI(Group_picture_tag SEI)。如上所述，通过使用SEI消息在视频流层中，除了指示多个图像的布置位置的位置信息外，还插入用于调节多个图像的显示定时的偏移信息、指示多图像布置类型的类型信息、指示显示多个图像时的旋转类型的类型信息等。
此外，传输流TS包含作为PSI(节目特定信息)的PMT(节目映射表)。PSI是描述包含在传输流中的基本流所属的方案的信息。
PMT包含描述关于节目的全部信息的节目循环(program loop)。多流服务描述符(multi_stream_service_descriptor)被插入节目循环下面。此外，PMT包含具有关于基本流(elementary stream)的信息的基本循环。根据结构实例，PMT包含视频基本循环(视频ES1循环)。
在视频基本循环中，对应于视频流(视频PES1)，布置诸如流类型和包标识符(PID)的信息，并且还布置描述关于视频流的信息的描述符。作为这样的描述符，插入混合流描述符(mixed_stream_descriptor)和图片寿命描述符(Picture_lifetime_descriptor)。
通过使用插入PMT下面的描述符，如上所述，插入指示多图像布置分配服务的识别信息、识别分配服务是否是移动/静止图像混合服务的识别信息与多图像布置分配服务相关的视频流的总数等。
图13示出使用多个流(即，在这种情况下是四个流)进行的分配中的传输流的结构实例。发送流包含四个视频流。换言之，根据本结构实例，具有包含编码图像数据的视频流的“视频PES1、视频PES2、视频PES3和视频PES4”的PES包。视频流包含多图像布置分配服务的多个图像的编码图像数据。
在视频流中，为各图像的编码图像数量的各访问单元插入组图片标签SEI(Group_picture_tag SEI)。如上所述，通过使用SEI消息在视频流层中，除了指示多个图像的布置位置的位置信息外，还插入用于调节多个图像的显示定时的偏移信息、指示多图像布置类型的类型信息、指示显示多个图像时的旋转类型的类型信息等。
此外，传输流TS包含作为PSI(节目特定信息)的PMT(节目映射表)。PSI是描述包含在传输流中的基本流所属的方案的信息。
PMT包含描述关于节目的全部信息的节目循环。多流服务描述符(multi_stream_service_descriptor)被插入节目循环下面。此外，PMT包含具有关于基本流的信息的基本循环。根据结构实例，PMT包含四个视频基本循环(视频ES1循环、视频ES2循环、视频ES3循环和视频ES4循环)。
在视频基本循环中，对应于每个视频流，布置诸如流类型和包标识符(PID)的信息，并且还布置描述关于视频流的信息的描述符。作为这样的描述符，插入混合流描述符(mixed_stream_descriptor)和图片寿命描述符(Picture_lifetime_descriptor)。
通过使用插入PMT下面的描述符，如上所述，插入指示多图像布置分配服务的识别信息、识别分配服务是否是移动/静止图像混合服务的识别信息与多图像布置分配服务相关的视频流的总数等。
图14示出组图片标签SEI(Group_picture_tag SEI)的结构实例(语法)。此外，图15示出结构实例的主要信息的内容(语义)。8位字段“group_picture_id”是包括具有静止图像的多个图像的组合显示器的关联信息。换言之，组图片的图像(多图像布置的图像)具有相同的“group_picture_id”。
3位字段“picture_rendering_type”指示组图片中的图像的布置类型，即，多图像布置类型。“001”指示水平方向的一维多图像布置、“010”指示垂直方向的一维多图像布置，且“011”指示水平/垂直方向的二维多图像布置。由于该信息，接收侧能够适当地识别多图像布置类型并且适当地布置多个图像。
1位字段“lifetime_controlled”指示允许显示的时间是否被限制。“1”指示允许显示的时间被限制。在这种情况下，基于系统层(容器层)确定允许显示NTP时间。“0”是指允许显示时间没有被限制，即，允许无限期地显示。由于这些信息，例如，接收侧能够自动地控制虚拟显示缓冲器来删除存储在其中的图像数据。
4位字段“location_id”指示组图片中的图像的布置位置(参见图2和图3)。8位字段“version_numbe”是示出图像的更新的递增值。基于这些信息，例如，可以串行更新组图片中的静止图像。4位字段“number_of_pictures”是在组图片中的图像的总数，即，具有相同的“group_picture_id”的最大数量的同时显示的图像。
3位字段“display_coordinate”指示显示期间的旋转类型。“010”指示每个图像顺时针90度旋转显示。“011”指示每个图像的逆时针90度旋转显示。“110”指示整个组图片的顺时针90度旋转显示。“111”指示整个组图片的逆时针90度旋转显示。由于这些信息，可以在组图片中显示服务侧期望提供的旋转状态下的多个图像。
图16示出基于“display_coordinate”的显示期间的旋转的实例。该实例示出了水平/垂直方向的二维多图像布置，其中组图片包含2×2个图像。图16(a)示出其中“display_coordinate”是“110”的实例。通过顺时针旋转整个组图片(解码图像)90度获得所显示的图像。此外，图16(b)示出其中“display_coordinate”是“010”的实例。通过顺时针旋转各个图像(图像)90度获得所显示的图像。
再次参考图14，1位字段“group_picture_start”指示在一定时间点开始更新和显示组图片。1位字段“group_picture_end”指示在一定时间点结束更新和显示组图片。8位字段“PTD(呈现时间距离(Presentation Time Distance))”是用于在组图片中同时显示图像的偏移值。换言之，“PTD”是用于调整组图片中的多个图像的显示定时的偏移信息。
可如以下数学式(1)中所示的基于PTD(i)获得组图片中的图片的显示定时CTP(i)。在这里，PTD(max)是在“group_picture_start”和“group_picture_end”之间具有相同“group_picture_id”的图像中的具有最新显示定时(PTS)的PTD。
CTP(i)＝PTS(i)+(PTD(max)-PTD(i))×系统时钟精度(90KHz)...(1)
图17示出组图片中的图像的显示定时CTP的计算实例。如在图17(a)中所示，这个实例是其中组图片包含2×2个图像(图片1、图片2、图片3和图4)的水平/垂直方向的二维多图像布置的实例。在这种情况下，如在图17(b)中所示，例如，图像的PTS是P1、P2、P3和P4，并且1、2、3和4被设置为图像的PTD。满足PTD(max)＝4。
在这种情况下，获得“P1+(4-1)×1/90000”作为图像1(图片1)的显示定时CTP 1。此外，获得“P2+(4-2)×1/90000”作为图像2(图片2)的显示定时CTP 2。此外，获得“P3+(4-3)×1/90000”作为图像3(图片3)的显示定时CTP 3。此外，获得“P4+(4-4)×1/90000＝P4”作为图像4(图片4)的显示定时CTP 4。应注意，在组图片中的图像的显示定时通过设置不同CTP值而偏移。
图18示出组图片标签SEI上的各种信息以时间序列转移的实例。在图18中，带圈数字的矩形单元示出访问单元。应注意，带圈数字“1”至“4”中的每一个是指获得图像数据图像1(图片1)到图像4(图片4)中的每一个的编码图像数据(参见图17(a))。
首先，串行发送具有作为“group_picture_id”的“1”的图像1(图片1)到图像4(图片4)的静止图像的编码图像数据。在这种情况下，图像1(图片1)到图像4(图片4)的编码图像数据包含作为“location_id”的“1”至“4”、作为“version_number”的“1”和作为“display_coordinate”的“0”。此外，在这种情况下，图像1(图片1)的编码图像数据包含示出组图片服务的开始的“group_picture_start”，并且图像4(图片4)的编码图像数据包含显示组图片服务的结束的“group_picture_end”。
接下来，发送图像2(图片2)的更新编码图像数据。在这种情况下，图像2(图片2)的编码图像数据包含作为“location_id”的“2”、作为“version_number”的“2”和作为“display_coordinate”的“0”。此外，在这种情况下，图像2(图片2)的编码图像数据包含示出组图片服务的开始的“group_picture_start”和示出组图片服务的结束的“group_picture_end”。
接下来，发送图像2(图片2)的进一步更新的编码图像数据。在这种情况下，图像2(图片2)的编码图像数据包含作为“location_id”的“2”、作为“version_number”的“3”和作为“display_coordinate”的“0”。此外，在这种情况下，图像2(图片2)的编码图像数据包含示出组图片服务的开始的“group_picture_start”和示出组图片服务的结束的“group_picture_end”。
接下来，串行发送图像(图1)到图像4(图片4)的更新的编码图像数据。在这种情况下，图像1(图片1)到图像4(图片4)的编码图像数据包含作为的“location_id”的“1”至“4”、作为“version_number”的“4”，和作为“display_coordinate”的“1”。此外，在这种情况下，图像1(图片1)的编码图像数据包含显示组图片服务的开始的“group_picture_start”，且图像4(图片4)的编码图像数据包含显示组图片服务的结束的“group_picture_end”。
图19示出多流服务描述符(multi_stream_service_descriptor)的结构实例(语法)。此外，图20示出结构实例的主要信息的内容(语义)。
8位字段“multi_stream_service_descriptor_tag”示出了描述符类型，即，本实例中的多流服务描述符。8位字段“multi_stream_service_descriptor_length”示出了描述符的长度(大小)，即，作为描述符长度的下列字节的数量。1位字段“multiple_stream_service_flag”是示出多分配服务，即，多图像布置的分配服务的标志。“1”表示多分配服务，且“0”表示非多分配服务。由于这一信息，接收侧能够容易地识别多图像布置分配服务并且准备该处理。
1位字段“moving_picture_still_picture_mixed_service”是表示静止/运动图像混合服务的标志。“1”是指静止/运动图像混合服务，且“0”是指未混合服务。4位字段“number_of_streams”示出与多分配服务效果流的总数。“0001”到“1111”分别指1个流到15个流。由于这一信息，接收侧能够容易地知道处理的视频流的总数并相应地处理它们。
图21(a)示出混合流描述符(mixed_stream_descriptor)的结构实例(语法)。此外，图21(b)示出结构实例的主要信息的内容(语义)。
8位字段“mixed_stream_descriptor tag”示出了描述符的类型，即，在这个实例中是混合流描述符。8位字段“mixed_stream_descriptor length”表示描述符长度(尺寸)和作为描述符长度的下面字节的数量。2位字段“service_stream_type”指示流类型。“01”指示运动图像流，“10”指示静止图像流，且“11”指示静止/运动图像混合流。由于这一信息，接收侧能够容易地知道处理的视频流的总数并相应地处理它们。
图22(a)示出图片寿命描述符(Picture_lifetime_descriptor)的结构实例(语法)。此外，图22(b)示出结构实例的主要信息的内容(语义)。
8位字段“Picture_lifetime_descriptor tag”指示描述符类型，即，在该实例中是图片寿命描述符。8位字段“Picture_lifetime_descriptor length”指示描述符长度(尺寸)和作为描述符长度的下面字节的数量。16位字段“number_of_group_pictures”指示由“group_picture_id”标识的组图片的数量。64位字段“NTP”指示由NTP(网络时间协议)确定的时钟值并且可针对各个组图片进行设置。
再次参考图1，网络分配服务器120经由通信网络提供其提供静止图像和运动图像的线性服务或下载提供静止图像和运动图像的服务。网络分配服务器120分配例如MP4的容器作为IP分布数据。类似于来自广播站110的上述传输流，MP4包含其包含多图像布置分配服务的多个图像(图片)的编码图像数据的预定数量的视频流。响应于来自接收侧的再现命令，网络分配服务器120经由通信网络将其中MP4IP包依次布置的发送流发送到接收侧。
在视频流的层中，除了示出多个图像的布置位置的位置信息外，还插入用于调节多个图像的显示定时的偏移信息、指示多图像布置类型的类型信息、指示显示多个图像时的旋转类型的类型信息等。此外，在容器层(系统层)中，指示多图像布置分配服务的识别信息、识别分配服务是否是移动/静止图像混合服务的识别信息、与多图像布置分配服务相关的视频流的总数等。
再次参考图1，接收器200包括调谐器201、多路解复用器202、压缩数据缓冲器(解码缓冲器)203、解码器204和未压缩数据缓冲器(解码缓冲器)205。此外，接收器200包括虚拟显示缓冲器(VP缓冲器)206、缩放器(scaler)207、显示器(屏幕装置)208、网关/网络路由器209、CPU(中央处理单元)210和用户操作单元211。
CPU 210控制接收器200的相应单元的行为。用户能够经由用户操作单元211输入各种指令。用户操作单元211包括遥控单元、其中基于接近/触摸输入指令的触摸面板单元、鼠标、键盘、被配置为通过使用相机检测输入指令以检测输入指令的姿势输入单元、其中输入声音指令的声音输入单元等。
调谐器201经由RF传输路径接收从发送侧发送的广播波、RF解调广播波并获得传输流作为广播分配复用数据。根据本实施例，如上所述，传输流具有包含多图像布置的分配服务的多个图像(图片)的编码图像数据的预定数量的视频流。
网关/网络路由器209经由通信网络接收从分配服务器120发送的一系列IP包、分解该系列IP包并且获得MP4作为IP分配数据。根据本实施例，类似于上述传输流，MP4包含其包含多图像布置分配服务的多个图像(图片)的编码图像数据的预定数量的视频流。
多路解复用器202从由调谐器201获得的传输流(广播分配多路复用数据)或由网关/网络路由器209获得的MP4(IP分配数据)中提取预定数量的视频流，并将视频流临时存储在压缩数据缓冲器203中。此时，多路解复用器202提取插入容器层中的各种信息，并将该信息发送给CPU210。如上所述，在该信息中，插入显示多图像布置分配服务的识别信息、识别分配服务是否是移动/静止图像混合服务的识别信息、与多图像布置分配服务相关的视频流的总数等。
应注意，外部存储介质212(例如，HDD)连接到多路解复用器202，且多路解复用器202能够记录和再现由调谐器201获得的传输流(广播分配复用数据)或由网关/网关/网络路由器209获得的MP4(IP分配数据)。多路解复用器202能够以类似方式处理从存储介质212获得的再生数据。
解码器204在预定的解码定时读取存储在压缩数据缓冲器203中的预定数量的视频流、解码视频流、获得组图片(多图像布置图像)中的图像的图像数据，并将视频流临时存储在未压缩数据缓冲器205中。此时，解码器204提取插入视频流层中的各种信息，且将该信息发送给CPU 210。在该信息中，如上所述，除了显示图像的布置位置的位置信息外，还插入用于调节多个图像的显示定时的偏移信息、表示多图像布置类型的类型信息、表示显示图像时的旋转类型的类型信息等。
虚拟显示缓冲器206获得存储在未压缩数据缓冲器205中的组图片中的图像的图像数据，并将图像数据分别临时存储在对应于图像的区域中。在根据PTS(显示时间标记)的定时将数据从非压缩数据缓冲器205读到虚拟显示缓冲器206，例如(参见图17的CTP)。
缩放器(scaler)207从虚拟显示缓冲器206读取组图片中的一部分或所有的区域(显示区域)、根据需要缩放图像数据并将图像发送到显示器208。图像数据被缩放以便例如将从虚拟显示缓冲器206中读取的显示器区域的图像数据的分辨率调整到显示器208的分辨率。
从虚拟显示缓冲器206的读取定时(显示定时)，并且另外地，可经由用户操作单元211来确定显示区域的位置和尺寸。在这种情况下，用于显示图像的显示器208的数量可经由用户操作单元211来确定。应注意，多个显示器208应准备这样做，虽然图1仅示出一个显示器208。
图23示出虚拟显示器上的显示区域与图像之间的关系的实例。在图23的实例中，包含2×2个图像P1到P4的组图片处于在水平/垂直方向的二维多图像布置中。基于用户操作设置虚拟显示器中的显示区域的尺寸，并且显示区域的位置可根据需要基于用户操作而进行改变，如在图23中所示。在这种情况下，虚拟显示器上的图像P1至P4中的仅对应于显示区域的图像被显示在显示器208上。
应注意，在这种情况下，在CPU 210的控制下，虚拟显示器上的当前显示区域的控制位置和尺寸可显示在显示器208或未示出的不同显示装置上。由于这种显示，用户可容易地知道虚拟显示器上的显示区域的位置和尺寸，并且可适当和有效地确定显示区域的位置和尺寸。
图24(a)示出虚拟显示器上的显示区域的位置和尺寸的实例。图24(b)示出与其相对应的显示器208上显示的位置指示器250的实例。位置指示器250包括显示整个虚拟显示器的图250a；和显示当前显示区域的位置的矩形图250b，其布置在对应于显示区域的位置和尺寸的图上。
此外，图25示出虚拟显示器上的显示区域与图像之间的关系的实例。在图25的实例中，包含五个图像P1至P5的组图片处于水平方向的一维多图像布置中。基于用户操作设置虚拟显示器的显示区域的尺寸，并且显示区域的位置可根据需要基于用户操作而改变，如在图25中所示。在这种情况下，虚拟显示器上的图像P1至P5中的仅对应于显示区域的图像被显示在显示器208上。
图26(a)示出虚拟显示器上的显示区域的位置和尺寸的实例。图26(b)显示在与其对应的显示器208上显示的位置指示器260的实例。位置指示器260包括显示整个虚拟显示器的图260a，和显示当前显示区域的位置的矩形图260b，其布置在对应于显示区域的位置和尺寸的图上。此外，在这种情况下，显示区域的位置和尺寸可通过使用矩形图来示出。
图27示出用于显示全景图像的显示器的结构实例。该显示器通过在水平方向上连接多个(在本实例中是三个)平面(虚线示出)或曲面(实线示出)显示器208来构造。在这种情况下，例如，三个连续图像在水平方向上被选择地显示在三个显示器208上，并且因此显示全景图像。
图28示出在组图片包含在水平方向上连续的七个图像时的显示区域的实例。图28(a)示出确定用于在三个显示器208上显示全景图像的一部分(例如，参见图27)的具有例如三个图像的尺寸的显示区域的位置的实例。图28(b)示出了确定用于在一个显示器208上显示全景图像的一部分的具有例如一个图像的尺寸的显示区域的位置的实例。
再次参考图1，如果在组图片中的图像是静止图像，则静止图像基于用户操作而更新。在这种情况下，基于“location_id”和“version_number”从虚拟显示缓冲器206中读取将要更新的图像的图像数据，并且更新所显示的图像。
例如，将考虑图18的上述分配实例。比方说，在这种情况下，首先，从虚拟显示缓冲器206读取具有作为“version_number”的“1”和作为“location_id”的“1”至“4”的四个图像的图像数据，并且显示包含静止图像的组图片。在这种情况下，如果用户输入更新操作，则从虚拟显示缓冲器206中读取具有作为“version_number”的“2”和作为“location_id”的“2”的图像的图像数据，并且更新所显示的图像。
此外，在这种情况下，如果用户输入更新操作，则从虚拟显示缓冲器206读取具有作为“version_number”的“3”和作为“location_id”的“2”的图像的图像数据，并且更新再次所显示的图像。此外，在这种情况下，如果用户输入更新操作，则从虚拟显示缓冲器206中读取作为“version_number”的“4”和作为“location_id”的“1”至的“4”的四个图像的图像数据，并更新四个所显示的图像。
如果在组图片中的图像是静态图像，并且如果即使从虚拟显示缓冲器206读取图像数据并显示在显示器208上之后“0”被设置为“lifetime_controlled”，则图像数据缓存在虚拟显示缓冲器206中直到用户输入释放指令。同时，如果“1”被设置为“lifetime_controlled”，则在系统层(容器层)中确定的NTP时间经过之后，对应的组图片的图像数据被自动从虚拟显示缓冲器206中删除。
如果组图片中的多个图像中的一部分或所有的都是运动图像，则在根据PTS的定时运动图像的图像数据被从压缩数据缓冲器205读取至虚拟显示缓冲器206，在此之后，在预定的时间段内进行读取并经由缩放器207被发送到显示器208。而且在这种情况下，根据需要读取仅其尺寸和位置由用户确定的显示区域的图像数据，且缩放器207转换尺寸(转换分辨率)。
此外，用户经由用户操作单元211输入图像旋转操作，和在显示器208显示的图像，即整个组图片或组图片中的图像可由此旋转。应注意，图像的旋转基本上基于该信息“display_coordinate”而被控制。其结果是，可能在旋转状态下显示服务侧想要提供的图像。然而，可以基于用户的操作进一步旋转图像。
此外，用户可操作用户操作单元211以发送再现命令，此外，还发送暂停命令、重新开始命令、跳过命令、再现结束命令和类似命令到网络分配服务器120。此外，例如，在虚拟显示缓冲器206溢出之前，CPU 210例如自动向网络分配服务器120发送暂停命令，在此之后如果虚拟显示缓冲器206具有足够的剩余容量则发送重新开始命令。
将粗略描述接收器200的行为。首先将描述接收广播波的接收器200。调谐器201接收静止图像线性服务和运动图像服务线性，并获得传输流(广播分配复用数据)。传输流被发送到多路解复用器202。
多路解复用器202从传输流(广播分配复用数据)提取预定数量的视频流，并且将视频流临时存储在压缩数据缓冲器203中。此时，多路解复用器202提取插在容器层中的各种信息并将信息发送到CPU 210。应注意，多路解复用器202以类似方式处理存储介质212的记录/再现的传输流(广播分配复用数据)。
解码器204以预定解码定时读取存储在压缩数据缓冲器203中的预定数量的视频流、解码视频流、获得组图片中图像的图像数据(多图像布置图像)，并将图像数据临时存储在未压缩数据缓冲器205中。此时，解码器204提取插入视频流层中的各种信息，并将该信息发送给CPU 210。
虚拟显示缓冲器206获得存储在未压缩数据缓冲器205中的组图片中图像的图像数据，并将图像数据分别临时存储在对应于图像的区域中。在根据例如PTS(显示时间标记)的定时将数据从非压缩数据缓冲器205读取到虚拟显示缓冲器206。
如上所述，在存储在虚拟显示缓冲器206中的组图片中图像的图像数据中，在任意定时读取其位置和尺寸由用户确定的区域，缩放器207转换尺寸(分辨率)，并且在这之后，它被发送到显示器208。其结果是组图片中的由用户确定的显示区域被显示在显示器208上。
在这种情况下，在接收服务之后的固定时间的延迟之后显示线性服务的运动图像数据。同时，由于静止图像服务的观看时间的自由度根据用户的偏好而变得较大，所以用户输入指令不定期地更新显示内容。正因为如此，无论显示时间周期如何，接收器200的延迟量是不恒定的。
虚拟显示缓冲器206吸收延迟时间和所接收的流的先前编码和分配定时之间的差。在线性服务中，在虚拟显示缓冲器206溢出之前，接收器200确定将所接收的流记录在存储介质212中，以暂停接收服务等。
此外，当接收器200经由广播波接收运动图像或静止图像的下载服务时，经由调谐器201获得的文件被一次存储在存储介质212中，或多路解复用器202将文件存储在存储介质212中且解码器204同时解码文件，虚拟显示缓冲器206生成组图片并且显示组图片。
接下来，将描述接收器200如何接收网络分配。网关/网络路由器209接收静止图像线性服务和运动图像服务线性，并且获得MP4(IP分配数据)。MP4被发送到多路解复用器202。
多路解复用器202从MP4(IP分配数据)提取预定数量的视频流，并且MP4被临时存储在压缩数据缓冲器203中。此时，多路解复用器提取插入容器层202中的各种信息，并将该信息发送给CPU 210。应注意，多路解复用器202以类似的方式处理存储介质212的记录/重放的MP4(IP分配数据)。
解码器204以预定的解码定时获取存储在压缩数据缓冲器203中的预定数量的视频流、解码视频流、获得组图片(多图像布置图像)中图像的图像数据，并将图像数据分别临时存储在非压缩数据缓冲器205中。此时，解码器204提取插入视频流层中的各种信息并将该信息发送给CPU 210。
虚拟显示缓冲器206获得存储在未压缩数据缓冲器205中的组图片中图像的图像数据，并分别将图像数据临时存储在对应于图像的区域中。在根据例如PTS(显示时间标记)的定时将数据从非压缩数据缓冲器205读取到虚拟显示缓冲器206。
如上所述，在存储在虚拟显示缓冲器206中的组图片中图像的图像数据中，在任意定时读取其位置和尺寸由用户确定的区域，缩放器207转换尺寸(分辨率)，并且，在这之后，它被发送到显示器208。其结果是，组图片中的由用户确定的显示区域被显示在显示器208上。
在这种情况下，在接收服务之后的固定时间的延迟之后显示线性服务的运动图像数据。同时，由于静止图像服务的观看时间的自由度根据用户的偏好较大，所以用户输入指令以不定期更新显示内容。正因为如此，无论显示时间周期如何，接收器200的延迟量是不恒定的。
虚拟显示缓冲器206吸收延迟时间和所接收的流的先前编码和分配定时之间的差。在线性服务(多播)中，在虚拟显示缓冲器206溢出之前，接收器200确定将所接收的流记录在存储介质212中，以暂停接收服务等。或者，接收器200立即开始VOD(单播服务)，并将再现控制命令(再现开始、暂停、恢复、停止等)发送到VOD分配服务器。
当接收器200经由网络分配接收运动图像或静止图像的下载服务时，经由网关/网络路由器209获得的文件被一次存储在存储介质212中，或多路解复用器202将文件存储在存储介质212中且解码器204同时解码文件，虚拟显示缓冲器206生成组图片，并且显示组图片。
此时，在虚拟显示缓冲器206溢出之前，接收器200暂停接收下载，并且设置接收器为以便以后恢复下载。类似于线性服务的接收，如果虚拟显示缓冲器206不能吸收网络分配服务，则存储介质212代替吸收，或接收器200开始VOD(单播服务)，并且将再现控制命令(再现开始、暂停、恢复、停止等)发送到VOD分配服务器。
如上所述，根据图1的分配系统10，在经由RF发送路径或通信网络发送到接收侧时，包含其包含多图像布置分配服务的多个图像的编码图像数据、显示多个图像的布置位置的位置信息(location_id)的预定数量的视频流的预定格式的容器被插入视频流层中。其结果是，例如，接收侧能够有效且适当地将多个图像布置在组图片(多图像布置图像)中。
此外，根据图1的分配系统10，接收器200基于位置信息将多个图像的图像数据布置在解码的组图片中，并且获得组图片的图像数据。其结果是，例如，能够有效且适当地获得组图片的图像数据。
<2.变形例>
应注意，本技术适用于基于MPEG-DASH的分配系统。图29示出基于MPEG-DASH的分配系统10A的结构实例。在配电系统10A中，IPTV客户端13-1、13-2，...，13-N中的第N个经由CDN(内容分配网络)14连接到DASH片段流化器(segment streamer)11和DASH MPD服务器12。
DASH片段流化器11基于预定内容的媒体数据(视频数据、音频数据、字幕数据等)生成基于DASH的流片段(以下称为“DASH片段”)，并且响应于来IPTV客户的HTTP请求发送所述片段。DASH片段流化器11是web服务器。
此外，响应于从IPTV客户请求13(13-1、13-2，...，13-N)发送的预定流的片段的请求，DASH片段流化器11经由CDN 14将所述流的片段发送到IPTV客户端13，其已经发送了该请求。
DASH MPD服务器12是生成MPD文件的服务器，其用来获得由DASH片段流化器11生成的DASH片段。DASH MPD服务器12基于(未示于图29中)内容管理服务器的内容元数据并且基于由DASH片段流化器11生成的片段的地址(url)生成MPD文件。
根据MPD格式，通过使用被称为表示(representation)的元素来描述视频、音频以及其它流的属性。例如，MPD文件被分成均包含其包含多图像布置分配服务的多个图像的编码数据的预定数量的视频流的呈现，并描述其属性。此外，在MPD文件中，描述了不断读取预定数量的视频流的信息。如果IPTV客户端13接收多图像布置分配服务，则IPTV客户端13参考MPD文件的描述获得预定数量的视频流。
如在图30中所示，MPD文件具有层结构(layer structure)。在MPD文件中，通过使用XML格式以分层的方式诸如描述存储在DASH片段流化器11中的运动图像的压缩格式、编码速度、图像尺寸和语言的信息。MPD文件以分层的方式包含诸如周期、适应集、表示、片段信息、初始化片段和媒体片段的结构。
周期结构包含关于节目的信息(诸如一对同步运动图像和声音的数据)。此外，周期结构中的适应集结构(adaptation-set structure)生成一组选择的流(表示组)。此外，适应集结构中的表示结构保持信息，诸如运动图像的编码速度和声音以及运动图像的声音音量。
此外，呈现结构中的片段信息结构保存关于运动图像或声音的片段的信息。此外，片段信息结构中的初始化片段结构包含初始化诸如数据压缩格式的信息。此外，片段信息结构中的媒体片段结构包含诸如用于获得运动图像或声音的片段的地址的信息。
图31示出其以分层方式被布置在上述MPD文件中的结构的关系的实例。如图31(a)所示，媒体呈现(即，整个MPD文件)包含基于时间间隔划分的多个周期。例如，第一周期在0秒处开始，下一个周期在100秒处开始等。
如在图31(b)中所示，一个周期包含多个表示。多个表示基于适应集(即，均具有包含例如多图像布置分配服务的多个图像的编码数据的预定数量的视频流的表示组)被分为组。
如在图31(c)中所示，表示包含片段信息。如在图31(d)中所示，片段信息包含初始化片段和多个媒体片段，在其中的每一个中描述了关于各片段的信息，通过将一个周期进一步划分成较小块来获得片段。媒体片段中包含诸如用于实际获得视频或音频片段数据等的地址(url)的信息。
图32示出基于内容生成DASH片段和DASH MPD文件的流量的实例。内容管理服务器15将内容发送到DASH片段流化器11。DASH片段流化器11基于视频数据、音频数据和内容的类似数据生成各个数据流的DASH片段。
此外，DASH片段流化器11将关于各生成的数据流的DASH片段的地址(url)的信息发送到MPD服务器12。内容管理服务器15将内容的元数据发送到DASH MPD服务器12。DASHMPD服务器12基于每个数据流的DASH片段的地址信息并基于内容的元数据生成DASH MPD文件。
图33示出IPTV客户端13(13-1到13-N)的结构实例。IPTV客户端13包括流数据控制器131、HTTP访问单元132和运动图像再现器133。流数据控制器131从DASH MPD服务器12获得MPD文件并分析MPD文件的内容。
HTTP访问单元132请求DASH片段流化器11发送运动图像的片段或声音以再现运动图像。在这里，如果HTTP访问单元132接收多图像布置的分配服务，则HTTP存取单元132参考MPD文件的描述请求来发送包含多图像布置的分配服务的多个图像的编码数据的预定数量的视频流。
HTTP访问单元132将运动图像或声音的接收片段发送到运动图像再现器133。运动图像再现器133解码从HTTP访问单元132发送的片段、获取组图片中的图像(多图像布置图像)的图像数据、与图像数据关联的声音数据和类似物，并再现图像和声音。应注意，IPTV客户端13的单元通过使用例如软件来处理。
图34示出基于DASH的一般的流分配系统序列。所有的DASH MPD文件和DASH片段经由CDN(内容分配网络)14分配。在CDN 14中，多个高速缓存服务器(DASH高速缓存服务器)具有网络布置。
高速缓存服务器从IPTV客户端13接收HTTP请求来获得MPD文件。如果高速缓存服务器在本地MPD高速缓存器中具有MPD文件，则高速缓存服务器响应于IPTV客户端13返回HTTP。此外，如果高速缓存服务器在本地MPD高速缓存器中没有MPD文件，则缓存服务器将请求发送到DASH MPD服务器12或上高速缓存服务器。此外，高速缓存服务器接收HTTP响应，这意味着存储MPD文件、将HTTP响应传送到IPTV客户端13并高速缓存MPD文件。
此外，高速缓存服务器从IPTV客户端13接收HTTP请求以获得DASH片段。如果高速缓存服务器在本地高速缓存片段具有DASH片段，则高速缓存服务器将HTTP响应返回到IPTV客户端13。此外，如果高速缓存服务器在本地高速缓存片段中没有DASH片段，则高速缓存服务器将请求传送到DASH片段流化器11或上高速缓存服务器。此外，高速缓存服务器接收HTTP响应，这意味着DASH段被存储、将HTTP响应传送到IPTV客户端13，并高速缓存DASH片段。
在CDN 14中，IPTV客户端13-1首先发送HTTP请求，路由器上的高速缓存服务器临时缓存DASH片段以分配给IPTV客户端13-1，且高速缓存的DASH片段响应于HTTP请求被分配到下游IPTV客户端13-2。其结果是，可以增加HTTP流化至大量IPTV客户端的分配效率。
除了多个高速缓存服务器外，CDN 14包括预定数量的高速缓存管理服务器。高速缓存管理服务器基于MPD文件中的每个视频数据流的DASH片段的高速缓冲存储器的索引生成高速缓存控制策略，并将高速缓存控制策略分配到每个高速缓存服务器。每个高速缓存服务器基于高速缓存控制策略高速缓存每个视频数据流的DASH片段。
图35示出分段MP4流的结构实例。视频的分段MP4流包含分段MP4，其通过对视频流封包而获得。视频流的预定图片被插入分段MP4的“mdat”部分中。类似于上述实施例，组图片标签SEI(Group_picture_tag SEI)消息被插入视频流的每个访问单元中。此外，类似于上述实施例，例如，IPTV客户端13基于组图片中的图像上的位置信息(“location_id”)有效和适当地布置图像。
应注意，因为传输流是基于DASH，故偶尔发送传输流。在这种情况下，其中多流服务描述符(multi_stream_service_descriptor)、混合流描述符(mixed_stream_descriptor)和图片寿命描述符(Picture_lifetime_descriptor)被插入的传输流被原样发送。
图36和图37中的每一个示出多图像布置的分配服务的MPD文件的描述实例。在图36的“适应集”层中，描述"parallelStream＝"4""是指不断读取四个数据流。此外，描述"frameRate＝"0""是指帧速率是0，即，静止图像流。此外，如图37所示，具有对应于流的四个表示。
如上所述，在多图像布置分配服务中，为了不断读取预定数量的视频流，其包含多图像布置分配服务的多个图像的编码数据，这被描述在MPD文件中。其结果是，IPTV客户端13能够成功获取组图片中图像的图像数据，即，组图片的图像。
此外，本技术可采用以下配置。
(1)一种发送装置，包括：
发送单元，发送具有包含多图像布置的分配服务的多个图像的编码图像数据的预定数量的视频流的预定格式的容器；和
信息插入单元，将位置信息插入到所述视频流的层中，所述位置信息指示所述多个图像的布置位置。
(2)根据(1)所述的发送装置，其中，
所述信息插入单元进一步将偏移信息插入到所述视频流的层中，所述偏移信息被用于调整所述多个图像的显示定时。
(3)根据(1)或(2)所述的发送装置，其中，
所述信息插入单元进一步将类型信息插入到所述视频流的层中，所述类型信息指示所述多图像布置的类型。
(4)根据(1)至(3)中任一项所述的发送装置，其中，
所述信息插入单元进一步将类型信息插入到所述视频流的层中，所述类型信息指示所述多个图像在显示期间的旋转类型。
(5)根据(1)至(4)中任一项所述的发送装置，其中，
所述信息插入单元进一步将寿命信息插入到所述视频流的层中，所述寿命信息指示所述多个图像的允许显示的时间是否被控制。
(6)根据(1)至(5)中任一项所述的发送装置，其中
所述信息插入单元进一步将识别信息插入到所述容器的层中，所述识别信息识别所述多图像布置的分配服务。
(7)根据(6)所述的发送装置，其中，
所述信息插入单元进一步将所述识别信息插入到所述容器的层中，所述识别信息识别所述多图像布置的分配服务是否是运动图像/静止图像的混合服务。
(8)根据(1)至(7)中任一项所述的发送装置，其中，
所述信息插入单元进一步将与所述多图像布置的分配服务相关的所述视频流的总数信息插入到所述容器的层中。
(9)根据(1)至(8)中任一项所述的发送装置，其中，
所述信息插入单元进一步将类型信息插入所述容器的层中，所述类型信息指示各个所述视频流是运动图像流、还是静止图像流、或是包含混合的静止图像和运动图像的混合流。
(10)一种发送方法，包括：
发送步骤，发送具有包含多图像布置的分配服务的多个图像的编码图像数据的预定数量的视频流的预定格式的容器；和
信息插入步骤，将位置信息插入到所述视频流的层中，所述位置信息指示所述多个图像的布置位置。
(11)一种接收装置，包括：
接收单元，接收包含多图像布置的分配服务的多个图像的编码图像数据的预定数量的视频流，位置信息被插入到所述预定数量的视频流中，所述位置信息指示所述多个图像的布置位置；
解码单元，解码所述预定数量的视频流并且获得所述多个图像的图像数据；和
处理单元，基于所述位置信息布置解码后的所述多个图像的图像数据并且获得多图像布置图像的图像数据。
(12)根据(11)所述的接收装置，进一步包括：
解码缓冲器，临时存储由所述解码单元获得的所述多个图像的图像数据；和
虚拟显示缓冲器，临时存储所述多图像布置的图像数据，
其中，所述处理单元从所述解码缓冲器依次读取所述多个图像的图像数据并且将所述多个图像的图像数据写入与所述虚拟显示缓冲器的所述位置信息指示的布置位置相对应的区域中。
(13)根据(12)所述的接收装置，进一步包括：
显示控制器，从所述虚拟显示缓冲器读取与于所述多图像布置图像中的一部分或全部的显示区域相对应的图像数据，并且在一部分或全部的图像区域中显示图像。
(14)根据(13)所述的接收装置，进一步包括：
用户操作单元，通知所述显示控制器所述显示区域。
(15)根据(14)所述的接收装置，进一步包括：
用户操作单元，通知所述显示控制器显示器的数量，所述显示区域的图像被显示在该显示器上。
(16)根据(11)至(15)中任一项所述的接收装置，进一步包括：
请求发送单元，向发送侧发送停止和恢复发送所述预定数量的视频流的请求。
(17)一种接收方法，包括：
接收步骤，接收包含多图像布置的分配服务的多个图像的编码图像数据的预定数量的视频流，位置信息被插入到所述预定数量的视频流中，所述位置信息指示所述多个图像的布置位置；
解码步骤，解码所述预定数量的视频流并且获得所述多个图像的图像数据；和
处理步骤，基于所述位置信息布置解码后的所述多个图像的图像数据并且获得多图像布置图像的图像数据。
(18)一种发送装置，包括：
元文件生成单元，生成包含由客户终端使用以获得预定数量的视频流的信息的元文件，所述预定数量的视频流包含多图像布置的分配服务的多个图像的编码图像数据，分配服务器能够经由网络分配所述多图像布置的分配服务；和
元文件发送单元，响应于来自所述客户终端的发送请求经由所述网络将生成的所述元文件发送至所述客户终端，其中，
位置信息被插入到所述视频流的层中，所述位置信息指示所述多个图像的布置位置，并且
所述元文件生成单元包含指示不断读取所述预定数量的视频流的信息的所述元文件。
(19)根据(18)所述的发送装置，其中，
所述元文件生成单元进一步包含识别信息的所述元文件，所述识别信息识别所述预定数量的视频流是静止图像流还是运动图像流。
根据本技术的主要特点，在经由RF发送路径或通信网络发送包含预定数量的包含多图像布置分配服务的多个图像的编码图像数据的视频流、示出多个图像的布置位置的位置信息(location_id)的预定格式的容器被插入视频流层中。其结果是，例如，接收侧能够有效和适当地在组图片中布置多个图像(多图像布置图像)(参见图18)
符号说明
10、10A 分配系统
11 DASH片段流化器
12 DASH MPD服务器
13、13-1到13-N IPTV客户端
14 CDN
15 内容管理服务器
110 广播站
112 运动/静止图像输出单元
113 视频编码器
114 多路复用器
200 接收器
201 调谐器
202 多路解复用器
203 压缩数据缓冲器
204 解码器
205 未压缩数据缓冲器
206 虚拟显示缓冲器
207 缩放器
208 显示器
209 网关/网络路由器
210 CPU
211 用户操作单元
212 存储介质

Claims (19)

1.一种发送装置，包括：
发送单元，发送预定格式的容器，所述容器包含预定数量的视频流，每一个视频流均包含多图像布置的分配服务的多个图像的编码图像数据；和
信息插入单元，将位置信息插入到每一个视频流中，所述位置信息指示由所述预定数量的视频流中的图像所形成的多图像布置图像的布置位置。
2.根据权利要求1所述的发送装置，其中，
所述信息插入单元进一步将偏移信息插入到所述视频流的层中，所述偏移信息被用于调整所述多个图像的显示定时。
3.根据权利要求1所述的发送装置，其中，
所述信息插入单元进一步将类型信息插入到所述视频流的层中，所述类型信息指示所述多图像布置的类型。
4.根据权利要求1所述的发送装置，其中，
所述信息插入单元进一步将类型信息插入到所述视频流的层中，所述类型信息指示所述多个图像在显示期间的旋转类型。
5.根据权利要求1所述的发送装置，其中，
所述信息插入单元进一步将寿命信息插入到所述视频流的层中，所述寿命信息指示所述多个图像的允许显示的时间是否被控制。
6.根据权利要求1所述的发送装置，其中，
所述信息插入单元进一步将识别信息插入到所述容器的层中，所述识别信息识别所述多图像布置的分配服务。
7.根据权利要求6所述的发送装置，其中，
所述信息插入单元进一步将所述识别信息插入到所述容器的层中，所述识别信息识别所述多图像布置的分配服务是否是运动图像/静止图像的混合服务。
8.根据权利要求1所述的发送装置，其中，
所述信息插入单元进一步将与所述多图像布置的分配服务相关的所述视频流的总数信息插入到所述容器的层中。
9.根据权利要求1所述的发送装置，其中，
所述信息插入单元进一步将类型信息插入所述容器的层中，所述类型信息指示各个所述视频流是运动图像流、还是静止图像流、或是包含混合的静止图像和运动图像的混合流。
10.一种发送方法，包括：
发送步骤，发送预定格式的容器，所述容器包括预定数量的视频流，每一个视频流均包含多图像布置的分配服务的多个图像的编码图像数据；和
信息插入步骤，将位置信息插入到每一个视频流中，所述位置信息指示由所述预定数量的视频流中的图像所形成的多图像布置图像的布置位置。
11.一种接收装置，包括：
接收单元，接收预定数量的视频流，每一个视频流均包含多图像布置的分配服务的多个图像的编码图像数据，位置信息被插入到每一个视频流中，所述位置信息指示由所述预定数量的视频流中的图像所形成的多图像布置图像的布置位置；
解码单元，解码所述预定数量的视频流并且获得所述预定数量的视频流的图像数据；和
处理单元，基于所述位置信息布置所述预定数量的视频流的解码后的图像数据并且获得包含所述预定数量的视频流的解码后的图像数据的所述多图像布置图像的图像数据。
12.根据权利要求11所述的接收装置，进一步包括：
解码缓冲器，临时存储由所述解码单元获得的所述多个图像的图像数据；和
虚拟显示缓冲器，临时存储所述多图像布置的图像数据，
其中，所述处理单元从所述解码缓冲器依次读取所述多个图像的图像数据并且将所述多个图像的图像数据写入与所述虚拟显示缓冲器的所述位置信息指示的布置位置相对应的区域中。
13.根据权利要求12所述的接收装置，进一步包括：
显示控制器，从所述虚拟显示缓冲器读取与所述多图像布置图像中的一部分或全部的显示区域相对应的图像数据，并且在一部分或全部的图像区域中显示图像。
14.根据权利要求13所述的接收装置，进一步包括：
用户操作单元，通知所述显示控制器所述显示区域。
15.根据权利要求14所述的接收装置，进一步包括：
用户操作单元，通知所述显示控制器显示器的数量，所述显示区域的图像被显示在该显示器上。
16.根据权利要求11所述的接收装置，进一步包括：
请求发送单元，向发送侧发送停止和恢复发送所述预定数量的视频流的请求。
17.一种接收方法，包括：
接收步骤，接收预定数量的视频流，每一个视频流均包含多图像布置的分配服务的多个图像的编码图像数据，位置信息被插入到每一个视频流中，所述位置信息指示由所述预定数量的视频流中的图像所形成的多图像布置图像的布置位置；
解码步骤，解码所述预定数量的视频流并且获得所述预定数量的视频流的图像数据；和
处理步骤，基于所述位置信息布置所述预定数量的视频流的解码后的图像数据并且获得包含所述预定数量的视频流的解码后的图像数据的所述多图像布置图像的图像数据。
18.一种发送装置，包括：
元文件生成单元，生成包含由客户终端使用以获得预定数量的视频流的信息的元文件，所述预定数量的视频流均包含多图像布置的分配服务的多个图像的编码图像数据，分配服务器能够经由网络分配所述多图像布置的分配服务；和
元文件发送单元，响应于来自所述客户终端的发送请求经由所述网络将生成的所述元文件发送至所述客户终端，其中，
位置信息被插入到每一个所述视频流中，所述位置信息指示由所述预定数量的视频流中的图像所形成的多图像布置图像的布置位置，并且
所述元文件生成单元包含指示不断读取所述预定数量的视频流的信息的所述元文件。
19.根据权利要求18所述的发送装置，其中，
所述元文件生成单元进一步包含识别信息的所述元文件，所述识别信息识别所述预定数量的视频流是静止图像流还是运动图像流。
CN201480036992.1A 2013-07-05 2014-06-16 发送装置、发送方法、接收装置和接收方法 Active CN105340281B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-142179 2013-07-05
JP2013142179 2013-07-05
PCT/JP2014/065952 WO2015001947A1 (ja) 2013-07-05 2014-06-16 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
CN105340281A CN105340281A (zh) 2016-02-17
CN105340281B true CN105340281B (zh) 2019-06-28

Family

ID=52143526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480036992.1A Active CN105340281B (zh) 2013-07-05 2014-06-16 发送装置、发送方法、接收装置和接收方法

Country Status (8)

Country Link
US (2) US20160373789A1 (zh)
EP (1) EP3018910B1 (zh)
JP (1) JP6462566B2 (zh)
KR (1) KR102269311B1 (zh)
CN (1) CN105340281B (zh)
BR (1) BR112015032851B1 (zh)
RU (1) RU2652099C2 (zh)
WO (1) WO2015001947A1 (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8028090B2 (en) 2008-11-17 2011-09-27 Amazon Technologies, Inc. Request routing utilizing client location information
US7991910B2 (en) 2008-11-17 2011-08-02 Amazon Technologies, Inc. Updating routing information based on client location
US8321568B2 (en) 2008-03-31 2012-11-27 Amazon Technologies, Inc. Content management
US8606996B2 (en) 2008-03-31 2013-12-10 Amazon Technologies, Inc. Cache optimization
US7970820B1 (en) 2008-03-31 2011-06-28 Amazon Technologies, Inc. Locality based content distribution
US7962597B2 (en) 2008-03-31 2011-06-14 Amazon Technologies, Inc. Request routing based on class
US9407681B1 (en) 2010-09-28 2016-08-02 Amazon Technologies, Inc. Latency measurement in resource requests
US8782236B1 (en) 2009-06-16 2014-07-15 Amazon Technologies, Inc. Managing resources using resource expiration data
US8397073B1 (en) 2009-09-04 2013-03-12 Amazon Technologies, Inc. Managing secure content in a content delivery network
US9495338B1 (en) 2010-01-28 2016-11-15 Amazon Technologies, Inc. Content distribution network
US9712484B1 (en) 2010-09-28 2017-07-18 Amazon Technologies, Inc. Managing request routing information utilizing client identifiers
US10958501B1 (en) 2010-09-28 2021-03-23 Amazon Technologies, Inc. Request routing information based on client IP groupings
US8468247B1 (en) 2010-09-28 2013-06-18 Amazon Technologies, Inc. Point of presence management in request routing
US9003035B1 (en) 2010-09-28 2015-04-07 Amazon Technologies, Inc. Point of presence management in request routing
US8452874B2 (en) 2010-11-22 2013-05-28 Amazon Technologies, Inc. Request routing processing
US10467042B1 (en) 2011-04-27 2019-11-05 Amazon Technologies, Inc. Optimized deployment based upon customer locality
US9154551B1 (en) 2012-06-11 2015-10-06 Amazon Technologies, Inc. Processing DNS queries to identify pre-processing information
US11936936B2 (en) * 2013-10-09 2024-03-19 Disney Enterprises, Inc. Method and system for providing and displaying optional overlays
US20160261927A1 (en) * 2013-10-09 2016-09-08 Disney Enterprises, Inc. Method and System for Providing and Displaying Optional Overlays
US10530828B2 (en) * 2014-03-31 2020-01-07 Samsung Electronics Co., Ltd. Method and apparatus for signaling and operation of low delay consumption of media data in MMT
US10097448B1 (en) 2014-12-18 2018-10-09 Amazon Technologies, Inc. Routing mode and point-of-presence selection service
US10225326B1 (en) 2015-03-23 2019-03-05 Amazon Technologies, Inc. Point of presence based data uploading
MX2017011816A (es) * 2015-03-24 2017-12-07 Sony Corp Dispositivo de transmision, metodo de transmision, dispositivo de recepcion y metodo de recepcion.
US9832141B1 (en) 2015-05-13 2017-11-28 Amazon Technologies, Inc. Routing based request correlation
TWI736542B (zh) * 2015-08-06 2021-08-21 日商新力股份有限公司 資訊處理裝置、資料配訊伺服器及資訊處理方法、以及非暫時性電腦可讀取之記錄媒體
US10152080B2 (en) 2015-09-23 2018-12-11 Adobe Systems Incorporated Power efficient multimedia content streaming based on media segment duration
US10158682B2 (en) * 2015-09-23 2018-12-18 Adobe Systems Incorporated Power efficient multimedia content streaming based on a server push
US10270878B1 (en) 2015-11-10 2019-04-23 Amazon Technologies, Inc. Routing for origin-facing points of presence
KR101743228B1 (ko) * 2016-01-22 2017-06-05 네이버 주식회사 스트리밍 장치 및 그 방법, 이를 이용한 스트리밍 서비스 시스템 및 컴퓨터로 판독 가능한 기록매체
US10075551B1 (en) 2016-06-06 2018-09-11 Amazon Technologies, Inc. Request management for hierarchical cache
US10110694B1 (en) * 2016-06-29 2018-10-23 Amazon Technologies, Inc. Adaptive transfer rate for retrieving content from a server
CN106131581A (zh) * 2016-07-12 2016-11-16 上海摩象网络科技有限公司 混合图像的全景视频制作技术
CN112601121B (zh) * 2016-08-16 2022-06-10 上海交通大学 一种面向多媒体内容组件个性化呈现的方法及系统
US10616250B2 (en) 2016-10-05 2020-04-07 Amazon Technologies, Inc. Network addresses with encoded DNS-level information
US10831549B1 (en) 2016-12-27 2020-11-10 Amazon Technologies, Inc. Multi-region request-driven code execution system
US10938884B1 (en) 2017-01-30 2021-03-02 Amazon Technologies, Inc. Origin server cloaking using virtual private cloud network environments
JP6823540B2 (ja) * 2017-05-29 2021-02-03 日本電信電話株式会社 映像処理方法、映像処理システム及び映像送信装置
US11075987B1 (en) 2017-06-12 2021-07-27 Amazon Technologies, Inc. Load estimating content delivery network
US11550297B2 (en) * 2017-07-11 2023-01-10 Telefonaktiebolaget Lm Ericsson (Publ) Methods and arrangements for robot device control in a cloud
US11089285B2 (en) * 2017-08-10 2021-08-10 Sony Corporation Transmission device, transmission method, reception device, and reception method
US10742593B1 (en) 2017-09-25 2020-08-11 Amazon Technologies, Inc. Hybrid content request routing system
WO2019139099A1 (ja) * 2018-01-12 2019-07-18 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US10862852B1 (en) 2018-11-16 2020-12-08 Amazon Technologies, Inc. Resolution of domain name requests in heterogeneous network environments
US11025747B1 (en) 2018-12-12 2021-06-01 Amazon Technologies, Inc. Content request pattern-based routing system
KR102397441B1 (ko) 2019-01-18 2022-05-13 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003199009A (ja) * 2001-12-26 2003-07-11 Toshiba Corp 蓄積型放送受信装置および方法
WO2012093714A1 (ja) * 2011-01-07 2012-07-12 シャープ株式会社 再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、記録媒体、データ構造、制御プログラム、及び該プログラムを記録した記録媒体
WO2013021656A1 (ja) * 2011-08-11 2013-02-14 パナソニック株式会社 再生装置、再生方法、集積回路、放送システム、及び放送方法
CN103004215A (zh) * 2011-05-19 2013-03-27 索尼公司 图像数据传送装置、图像数据传送方法和图像数据接收装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000013712A (ja) 1998-06-25 2000-01-14 Toshiba Corp マルチ画面表示装置
US6314569B1 (en) * 1998-11-25 2001-11-06 International Business Machines Corporation System for video, audio, and graphic presentation in tandem with video/audio play
US7174512B2 (en) * 2000-12-01 2007-02-06 Thomson Licensing S.A. Portal for a communications system
US7561620B2 (en) * 2004-08-03 2009-07-14 Microsoft Corporation System and process for compressing and decompressing multiple, layered, video streams employing spatial and temporal encoding
US7489833B2 (en) * 2004-10-06 2009-02-10 Panasonic Corporation Transmitting device, reconstruction device, transmitting method and reconstruction method for broadcasts with hidden subtitles
CN102905166B (zh) * 2005-07-18 2014-12-31 汤姆森许可贸易公司 使用元数据来处理多个视频流的方法和设备
WO2007009225A1 (en) * 2005-07-22 2007-01-25 Kangaroo Media Inc. System and methods for enhancing the experience of spectators attending a live sporting event
EP2421265B1 (en) * 2006-01-05 2013-10-02 Telefonaktiebolaget LM Ericsson (PUBL) Generation of media container files
ES2864544T3 (es) * 2007-04-12 2021-10-14 Dolby Int Ab Organización en mosaico en codificación y decodificación de vídeo
US20090158337A1 (en) * 2007-12-13 2009-06-18 Mobitv, Inc. Mosaic video content selection mechanism
KR20140027982A (ko) * 2011-05-19 2014-03-07 엘지전자 주식회사 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법
JP5695972B2 (ja) * 2011-05-20 2015-04-08 日立マクセル株式会社 コンテンツ受信機およびコンテンツ情報出力方法
KR101781717B1 (ko) * 2011-06-08 2017-10-23 코닌클리즈케 케이피엔 엔.브이. 공간적으로-세그먼트된 콘텐츠 전달
US9154813B2 (en) * 2011-06-09 2015-10-06 Comcast Cable Communications, Llc Multiple video content in a composite video stream
US20130170561A1 (en) * 2011-07-05 2013-07-04 Nokia Corporation Method and apparatus for video coding and decoding
IL299951B2 (en) * 2012-06-29 2024-01-01 Ge Video Compression Llc Video data stream concept
US9643971B2 (en) 2013-03-15 2017-05-09 Galleon Pharmaceuticals, Inc. Breathing control modulating compounds, and methods of using same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003199009A (ja) * 2001-12-26 2003-07-11 Toshiba Corp 蓄積型放送受信装置および方法
WO2012093714A1 (ja) * 2011-01-07 2012-07-12 シャープ株式会社 再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、記録媒体、データ構造、制御プログラム、及び該プログラムを記録した記録媒体
CN103004215A (zh) * 2011-05-19 2013-03-27 索尼公司 图像数据传送装置、图像数据传送方法和图像数据接收装置
WO2013021656A1 (ja) * 2011-08-11 2013-02-14 パナソニック株式会社 再生装置、再生方法、集積回路、放送システム、及び放送方法

Also Published As

Publication number Publication date
CN105340281A (zh) 2016-02-17
US20160373789A1 (en) 2016-12-22
US20200288182A1 (en) 2020-09-10
KR20160030104A (ko) 2016-03-16
EP3018910A4 (en) 2017-02-08
EP3018910A1 (en) 2016-05-11
US11330311B2 (en) 2022-05-10
RU2652099C2 (ru) 2018-04-25
JP6462566B2 (ja) 2019-01-30
BR112015032851A2 (pt) 2017-07-25
WO2015001947A1 (ja) 2015-01-08
EP3018910B1 (en) 2019-11-13
JPWO2015001947A1 (ja) 2017-02-23
BR112015032851B1 (pt) 2023-03-07
RU2015156234A (ru) 2017-06-30
KR102269311B1 (ko) 2021-06-28

Similar Documents

Publication Publication Date Title
CN105340281B (zh) 发送装置、发送方法、接收装置和接收方法
JP6675475B2 (ja) メディア・ストリームに基づくタイルド・ビデオの形成
CN108476324B (zh) 增强视频流的视频帧中的感兴趣区域的方法、计算机和介质
JP6516766B2 (ja) 分割タイムドメディアデータのストリーミングを改善するための方法、デバイス、およびコンピュータプログラム
US8898228B2 (en) Methods and systems for scalable video chunking
US9804668B2 (en) Systems and methods for rapid content switching to provide a linear TV experience using streaming content distribution
CN102160375B (zh) 使用可扩展视频编码的数字线性tv节目的递送方法
US10591984B2 (en) Systems and methods for rapid content switching to provide a linear TV experience using streaming content distribution
WO2017029400A1 (en) Forming one or more tile streams on the basis of one or more video streams
CN106462490B (zh) 多媒体流水线架构
Lim et al. New MPEG transport standard for next generation hybrid broadcasting system with IP
KR102247976B1 (ko) 통신 장치, 통신 데이터 생성 방법, 및 통신 데이터 처리 방법
CN109644286B (zh) 分发装置和方法、接收装置和方法、介质和内容分发系统
CN101605243B (zh) 节目提供的方法、媒体设备和用户侧设备
KR101980721B1 (ko) 멀티미디어 스트리밍 서비스 프레젠테이션 방법, 관련 장치 및 관련 시스템
Lim et al. Tiled panoramic video transmission system based on MPEG-DASH
KR101941781B1 (ko) Mmt 기반 8k 방송 수신 방법 및 장치
CN114930869A (zh) 用于视频编码和视频解码的方法、装置和计算机程序产品
CN115023955A (zh) 用于视频流传输的方法、装置和计算机程序产品
WO2024114519A1 (zh) 点云封装与解封装方法、装置、介质及电子设备
Le Feuvre et al. Synchronization in MPEG-4 Systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant