[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN108471546A - 图像数据发送装置和方法、图像数据接收装置 - Google Patents

图像数据发送装置和方法、图像数据接收装置 Download PDF

Info

Publication number
CN108471546A
CN108471546A CN201810586327.XA CN201810586327A CN108471546A CN 108471546 A CN108471546 A CN 108471546A CN 201810586327 A CN201810586327 A CN 201810586327A CN 108471546 A CN108471546 A CN 108471546A
Authority
CN
China
Prior art keywords
image data
visual angle
video
stream
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810586327.XA
Other languages
English (en)
Inventor
塚越郁夫
市木祥二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108471546A publication Critical patent/CN108471546A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

公开了图像数据发送装置和方法、图像数据接收装置。图像数据发送装置包括：图像数据输出部，被配置成输出N个视角的图像数据；视角选择器，适于从N个图像数据输出部接收N个视角的图像数据，并且至少提取左端视角、右端视角和中间视角的图像数据；发送单元，发送包括所提取的图像视角的图像数据的一个或多个视频原始流；以及信息插入单元，将辅助信息插入所述视频原始流中，辅助信息用于识别发送多个图像视角的图像数据的第一发送模式以及发送单个图像视角的图像数据的第二发送模式，其中，辅助信息包括视角配置信息，视角配置信息包括指示由视角选择器接收到的视角的数量的信息以及指示每个视角的相对位置关系的信息。

Description

图像数据发送装置和方法、图像数据接收装置
本发明申请为申请日为2012年11月5日并于2013年7月4日进入中国国家阶段的发明名称为“图像数据发送装置、图像数据发送方法和图像数据接收装置”的第201280004674.8号发明专利申请的分案申请。
技术领域
本技术涉及图像数据发送装置、图像数据发送方法和图像数据接收装置，具体涉及发送用于显示立体图像的图像数据的图像数据发送装置等。
背景技术
在相关技术中，作为运动图像的编码方法，已知H.264/AVC(高级视频编码)(参见NPL 1)。此外，作为H.264/AVC的扩展方法，已知H.264/MVC(多视角视频编码)(参见NPL 2)。MVC采用多视角的图像数据被共同地(collectively)编码的结构。在MVC中，多视角的图像数据被编码成一个基本视角的图像数据和一个或多个非基本视角的图像数据。
此外，作为H.264/AVC的扩展方法，还已知一种H.264/SVC(可伸缩视频编码)(参见NPL 3)。SVC是一种对图像进行分级编码的技术。在SVC中，运动图像被划分为：基本层(最低层)，其具有对运动图像进行解码所需的图像数据从而具有最小量；增强层(更高层)，其具有被添加于基本层的图像数据从而增加了运动图像的量。
引用列表
非专利文献
NPL 1:"Draft Errata List with Revision-Marked Corrections for H.264/AVC",JVT-1050,Thomas Wiegand et al.,Joint Video Team(JVT)of ISO/IEC MPEG&ITU-T VCEG,2003年
NPL 2:Joint Draft 4.0on Multiview Video Coding,Joint Video Team ofISO/IEC MPEG&ITU-T VCEG,JVT-X209,2007年7月
NPL 3:Heiko Schwarz,Detlev Marpe,and Thomas Wiegand,"Overview of theScalable Video Coding Extension of the H.264/AVC Standard",IEEE TRANSACTIONSON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY,第17卷,第9期,2007年9月,1103至1120页。
发明内容
在AVC流和MVC流动态地改变的传送环境中，期望与MVC对应的接收器确定流是仅包括“Stream_Type＝0x1B”还是既包括“Stream_Type＝0x1B”又包括“Stream_Type＝0x20”，并执行接收模式之间的切换。
利用节目映射表(PMT)的“Stream_Type＝0x1B”来发送正常的AVC(2D)视频原始流。此外，在一些情况下，利用PMT的“Stream_Type＝0x1B”来发送MVC基本视角视频原始流(基本视角子位流)。
在传输流的一个区段中提供了以下结构，在该结构中，根据作为节目特定信息(PSI)的PMT的层来辨别是AVC流还是MVC流。换句话说，当视频原始流仅包括“Stream_Type＝0x1B”时，该流被识别为2D AVC流。此外，当视频原始流既包括“Stream_Type＝0x1B”又包括“Stream_Type＝0x20”时，该流被识别为MVC流。
然而，存在不一定随着发送发设备来动态地更新PMT的情况。在该情况下，考虑到当传送内容从立体(3D)图像变为二维(2D)图像时的不便利。换句话说，考虑接收器还连续地接收与流类型(Stream_Type)为“0x1B”的原始流一起的流类型(Stream_Type)为“0x20”的流，并持续等待该数据。
尽管在传送内容变为二维(2D)图像之后未接收到“0x20”的原始流，接收器仍持续等待“0x20”的原始流的到来。结果，担心可能未正确地执行解码，并且可能未执行正常的显示。因此，在接收器仅利用PMT的“Stream_Type”的种类来确定其模式的情况下，存在模式可能不正确并且可能未接收到正确的流的可能性。
图94示出了传输流中的视频原始流和节目映射表(PMT)的配置示例。视频原始流ES1和ES2的“001”到“009”的访问单元(AU)的时段是存在两个视频原始流的时段。该时段例如是3D节目的主体时段，并且这两个流构成立体(3D)图像数据的流。
跟随其后的视频原始流ES1的“010”到“014”的访问单元的时段是仅存在一个视频原始流的时段。该时段例如是在3D节目的主体时段之间插入的CM时段，并且该单个流构成二维图像数据的流。
此外，跟随其后的视频原始流ES1和ES2的“015”和“016”的访问单元的时段是存在两个视频原始流的时段。该时段例如是3D节目的主体时段，这两个流构成立体(3D)图像数据的流。
PMT中的视频原始流的更新登记的周期(例如，100msec)不能跟踪视频帧周期(例如，33.3msec)。在通过利用PMT来通知在形成传输流的原始流中的动态变化的方法中，原始流不与PMT的传输流的配置同步，因此，不能确保正确的接收操作。
此外，在现有信号标准(MPEG)中，描述符“MVC_extension descriptor(MVC_扩展描述符)”主要被插入MVC基本视角视频原始流(基本视角子位流)“Stream_Type＝0x1B”作为PMT的描述符。当存在该描述符时，能够识别非基本视角视频原始流(非基本视角子位流)的存在。
不能说“Stream_Type＝0x1B”所表示的“原始PID”的视频原始流是上述MVC基本视角视频原始流(基本视角子位流)。在相关技术中，存在该流可能是AVC(在该情况下，广泛地高配置文件)流的情况。具体而言，为了确保与现有2D接收器的兼容，在相关技术中，存在推荐即使在立体(3D)图像数据中基本视角视频原始流仍保持AVC(2D)视频原始流的情况。
在该情况下，由AVC(2D)视频原始流和非基本视角视频原始流(非基本视角子位流)形成立体图像数据的流。在该情况下，描述符“MVC_extension descriptor(MVC_扩展描述符)”不与视频原始流“Stream_Type＝0x1B”相关。为此，不能识别除了与基本视角视频原始流对应的AVC(2D)视频原始流之外的非基本视角视频原始流(非基本视角子位流)的存在。
此外，在上述描述中，已经描述了难以确定在传输流中包括的原始流是否构成立体(3D)图像数据。省略了详细描述，在以时分方式来发送AVC流和上述SVC流的情况下也出现该不便利。
本技术的目的是使得接收方能够适当地正确地处理传送内容中的动态变化以接收正确的流。
对问题的解决方案
本技术的构思存在于图像数据发送装置，图像数据发送装置包括：发送单元，发送单元发送一个或多个视频流，视频流包括预定数量的图像数据项；信息插入单元，其将辅助信息插入视频流中，辅助信息用于标识发送多个图像数据项的第一发送模式和发送单个图像数据项的第二发送模式。
在本技术中，由发送单元发送包括预定数量的视角的图像数据的一个或多个视频流。此外，信息插入单元将辅助信息插入视频流中，辅助信息用于标识发送多个图像数据项的第一发送模式和发送单个图像数据项的第二发送模式。例如，信息插入单元可以至少以节目单位、场景单位、图片组单元或图片单位插入辅助信息。
例如，第一发送模式可以是发送基本视角图像数据和与基本视角图像数据一起使用的非基本视角图像数据以显示立体图像的立体图像发送模式，而第二发送模式可以是发送二维图像数据的二维图像发送模式。
此外，在该情况下，例如，第一发送模式可以是发送用于显示立体感觉的立体图像的左眼视角的图像数据和右眼视角的图像数据的立体图像发送模式。此外，在该情况下，例如，表示立体图像发送模式的辅助信息可以包括表示各个视角的相对位置关系的信息。
此外，例如，第一发送模式可以是发送形成可缩放编码图像数据的最低层的图像数据和除了最低层之外的层的图像数据的扩展图像发送模式，而第二发送模式可以是发送基本图像数据的基本图像发送模式。
在本技术中，例如，信息插入单元可以在第一发送模式下将表示第一发送模式的辅助信息插入视频流中，而在第二发送模式下将表示第二发送模式的辅助信息插入视频流中。
此外，在本技术中，例如，信息插入单元可以在第一发送模式下将表示第一发送模式的辅助信息插入视频流中，而在第二发送模式下可以不将辅助信息插入视频流中。
此外，信息插入单元可以在第一发送模式下不将辅助信息插入视频流中，而可以在第二发送模式下将表示第二发送模式的辅助信息插入视频流中。
此外，在本技术中，例如，发送单元可以在第一发送模式下发送包括第一图像数据的基本视频流和包括与第一图像数据一起使用的第二图像数据的预定数量的附加视频流，而在第二发送模式下发送包括第一图像数据的单个视频流。
此外，在本技术中，例如，发送单元可以在第一发送模式下发送包括第一图像数据的基本视频流和包括与第一图像数据一起使用的第二图像数据的预定数量的附加视频流，而在第二发送模式下发送包括第一图像数据的基本视频流和基本包括与第一图像数据相同的图像数据的预定数量的附加视频流。
如上所述，在本技术中，当发送包括预定数量的图像数据项的一个或多个视频流时，辅助信息被插入视频流中，辅助信息用于标识发送多个图像数据项的第一发送模式和发送单个图像数据项的第二发送模式。因此，接收方能够容易地基于辅助信息来理解是第一发送模式还是第二发送模式，以适当地正确地处理流配置的变化，即传送内容中的动态变化，从而接收正确的流。
此外，在本技术中，发送单元可以发送包括视频流的预定格式的载体，并且图像数据发送装置还可以包括标识信息插入单元，其将用于标识是处于第一发送模式还是处于第二发送模式的标识信息插入载体的层中。因此，标识信息被插入载体的层中，从而能够在接收方执行灵活的操作。
本技术的另一个构思位于图像数据接收装置中，图像数据接收装置包括：接收单元，其接收包括预定数量的图像数据项的一个或多个视频流；发送模式识别单元，其基于在所接收到的视频流中插入的辅助信息，识别是发送多个图像数据项的第一发送模式还是发送单个图像数据项的第二发送模式；以及处理单元，其基于模式识别结果对所接收到的视频流执行对每个模式对应的处理，以获取预定数量的图像数据项。
在本技术中，由接收单元接收包括预定数量的图像数据项的一个或多个视频流。由发送模式识别单元基于在接收到的视频流中插入的辅助信息来识别是发送多个图像数据项的第一发送模式还是发送单个图像数据项的第二发送模式。
例如，第一发送模式可以是发送基本视角图像数据和与基本视角图像数据一起使用的非基本视角图像数据以显示立体图像的立体图像发送模式，而第二发送模式可以是发送二维图像数据的二维图像发送模式。此外，例如，第一发送模式可以是发送形成可缩放的编码图像数据的最低层的图像数据以及除了最低层之外的层的图像数据的扩展图像发送模式，而第二发送模式可以是发送基本图像数据的基本图像发送模式。
在本技术中，例如，当表示第一发送模式的辅助信息被插入所接收的视频流中时，发送模式识别单元可以识别是第一发送模式，而当表示第二发送模式的辅助信息被插入所接收的视频流中时，发送模式识别单元可以识别是第二发送模式。
此外，在本技术中，例如，当表示第一发送模式的辅助信息被插入所接收的视频流中时，发送模式识别单元可以识别是第一发送模式，而当辅助信息未被插入所接收的视频流中时，发送模式识别单元可以识别是第二发送模式。
此外，在本技术中，例如，当辅助信息未被插入所接收的视频流中时，发送模式识别单元可以识别是第一发送模式，而当表示第二发送模式的辅助信息被插入所接收的视频流中时，发送模式识别单元可以识别是第二发送模式。
此外，在本技术中，例如，接收单元可以在第一发送模式下接收包括第一图像数据的基本视频流和包括与第一图像数据一起使用的第二图像数据的预定数量的附加视频流，而在第二发送模式下接收包括第一图像数据的单个视频流。在该情况下，处理单元可以在第一发送模式下处理基本视频流和预定数量的附加视频流以获取第一图像数据和第二图像数据，而在第二发送模式下处理单个视频流以获取第一图像数据。
此外，在本技术中，例如，接收单元可以在第一发送模式下接收包括第一图像数据的基本视频流和包括与第一图像数据一起使用的第二图像数据的预定数量的附加视频流，并在第二发送模式下接收包括第一图像数据的基本视频流和基本包括与第一图像数据相同的图像数据的预定数量的附加视频流。在该情况下，处理单元可以在第一发送模式下处理基本视频流和预定数量的附加视频流以获取第一图像数据和第二图像数据，而在第二发送模式下处理基本视频流以获取第一图像数据而不必执行从预定数量的附加视频流中获取第二图像数据的处理。
如上所述，在本技术中，基于被插入所接收的视频流中的辅助信息，识别是发送多个图像数据项的第一发送模式还是发送单个图像数据项的第二发送模式。此外，对所接收的视频流执行与所识别的模式对应的处理以获取预定数量的图像数据项。可以容易地了解是第一发送模式还是第二发送模式，以适当地正确地处理流配置中的变化，即传送内容中的动态变化，从而接收正确的流。
此外，在本技术中，例如，接收单元可以接收包括视频流的预定格式的载体，并且用于标识是第一发送模式还是第二发送模式的标识信息可以被插入载体中。在该情况下，发送模式识别单元可以基于被插入所接收的视频流中的辅助信息和被插入载体的层中的标识信息，来识别是发送多个图像数据项的第一发送模式还是发送单个图像数据项的第二发送模式。
根据本申请的一个方面，提供了一种图像数据发送装置，包括：图像数据输出部，被配置成输出N个视角的图像数据；视角选择器，适于从N个图像数据输出部接收N个视角的图像数据，并且至少提取左端视角、右端视角和中间视角的图像数据；发送单元，发送包括所提取的图像视角的图像数据的一个或多个视频原始流；以及信息插入单元，将辅助信息插入所述视频原始流中，辅助信息用于识别发送多个图像视角的图像数据的第一发送模式以及发送单个图像视角的图像数据的第二发送模式，其中，辅助信息包括视角配置信息，视角配置信息包括指示由视角选择器接收到的视角的数量的信息以及指示每个视角的相对位置关系的信息。
根据本申请的另一个方面，提供了一种图像数据发送方法，包括：输出N个视角的图像数据；从N个视角中至少提取左端视角、右端视角和中间视角的图像数据；发送步骤，发送包括所提取的图像视角的图像数据的一个或多个视频原始流；以及信息插入步骤，将辅助信息插入视频原始流中，辅助信息用于识别发送多个图像视角的图像数据的第一发送模式和发送单个图像视角的图像数据的第二发送模式，其中，辅助信息包括视角配置信息，视角配置信息包括指示N个视角的信息和指示每个视角的相对位置关系的信息。
根据本申请的另一个方面，还提供了一种图像数据接收装置，包括：接收单元，接收一个或多个视频原始流，视频原始流包括从N个视角中选择的预定数量的图像视角的图像数据；发送模式识别单元，基于插入到视频传输流的层的识别信息并且基于视角配置信息来识别发送多个图像视角的图像数据的第一发送模式和发送单个图像视角的图像数据的第二发送模式，识别信息用于识别是否插入了视角配置信息，视角配置信息包括指示N个视角的信息和指示每个视角的相对位置关系的信息并且视角配置信息被插入到所接收到的视频原始流中；处理单元，基于模式识别结果对所接收到的视频流执行与每个模式对应的处理，以获取所述预定数量的图像视角的图像数据；以及视角插值单元，被配置成根据所接收到的预定数量的视角的图像数据插值并生成未发送的多个视角的图像数据。
发明的有益效果
根据本技术，接收方能够适当地正确地处理原始流的配置变化，即传送内容中的动态变化，以有利地接收流。
附图说明
[图1]图1是示出作为实施例的图像发送和接收系统的配置示例的框图。
[图2]图2是示出中央视角、左端视角和右端视角中的每个视角的图像数据被编码成单个图片的数据的示例的图。
[图3]图3是示出中央视角的图像数据被编码成单个图片的数据、左端视角和右端视角这两个视角的图像数据经过交错处理被编码成单个图片的数据的示例的图。
[图4]图4是示出包括多个图片的编码数据的视频流的示例的图。
[图5]图5是示出三个图片的编码数据项一起存在于单个视频流中的情况的示例的图；
[图6]图6是示意性地示出在发送N个视角中的左端视角和右端视角的图像数据以及左端视角和右端视角之间的中央视角的图像数据的方法中视角的数量为5的情况下接收器的显示单元的图。
[图7]图7是示出生成传输流的发送数据生成单元的配置示例的框图。
[图8]图8是示出发送数据生成单元的视角选择器的视角选择状态的图。
[图9]图9是示出每个框的视差数据(视差向量)的示例的图。
[图10]图10是示出生成块单位的视差数据的方法的示例的图。
[图11]图11是示出通过从块单位到像素单位的转换处理来生成像素单位的视差数据的方法的图。
[图12]图12是示出作为标识信息的多视角流配置描述符的结构示例的图。
[图13]图13是示出多视角流配置描述符的结构示例中的主要信息的内容的图。
[图14]图14是示出作为视角配置信息的多视角流配置信息的结构示例的图。
[图15]图15是示出多视角流配置信息的结构示例中的主要信息的内容的图。
[图16]图16是示出多视角流配置信息的结构示例中的主要信息的内容的图。
[图17]图17是示出多视角流配置信息的结构示例中的主要信息的内容的图。
[图18]图18是示出由“view_count(视角_计数)”所表示的视角数量和由“view_pair_position_id(视角_对_位置_id)”所表示的两个视角的位置之间的关系的示例的图。
[图19]图19是示出在连同位于两端的成对的两个视角的图像数据一起发送比两端还向内定位的成对的两个视角的图像数据的情况下发送方或接收方生成视差数据的示例的图。
[图20]图20是示出接收方基于视差数据来插值并生成位于各个视角之间的视角的图像数据的示例的图。
[图21]图21是示出多视角流配置SEI被插入“访问单元”的“SELs”部分的图。
[图22]图22是示出“多视角流配置SEI消息”和“userdata_for_multiview_stream_configuration()(用于_多视角_流_配置_用户数据())”的结构示例的图。
[图23]图23是示出“user_data()(用户_数据())”的结构示例的图。
[图24]图24是示出在传输流TS中包括三个视频流的情况的配置示例的图。
[图25]图25是示出在传输流TS中包括两个视频流的情况的配置示例的图。
[图26]图26是示出在传输流TS中包括单个视频流的情况的配置示例的图。
[图27]图27是示出构成图像发送和接收系统的接收器的配置示例的框图。
[图28]图28是示出缩放比率的计算示例的图。
[图29]图29是示意性地示出视角插值单元中的插值和生成处理的示例的图。
[图30]图30是示出在3D时段(当接收立体图像时)和2D时段(当接收二维图像时)交替相继的情况下的接收流的示例的图。
[图31]图31是示出在3D时段(当接收立体图像时)和2D时段(当接收二维图像时)交替相继的情况下的接收流的示例的图。
[图32]图32是示出CPU中的操作模式切换控制的处理过程的示例的流程图。
[图33]图33是示出传输流中所包括的视频流的示例的图。
[图34]图34是示出在3D时段(立体图像发送模式)和2D时段(二维图像发送模式)交替相继并且没有用于标识模式的辅助信息(多视角流配置SEI消息)的情况的图。
[图35]图35是示出在3D时段和3D时段交替相继并且存在用于标识模式的辅助信息(多视角流配置SEI消息)的情况的图。
[图36]图36是示出构成图像发送和接收系统的接收器的另一个配置示例的框图。
[图37]图37是示出在多视角流配置SEI消息中包括的多视角视角位置(Multiviewview position()(多视角视角位置()))的结构示例(语法)的图。
[图38]图38是示出多视角位置SEI被插入访问单元的“SEIs”部分的图。
[图39]图39是示出在3D时段(当接收立体图像时)和2D时段(当接收二维图像时)交替相继的情况下的接收流的示例的图。
[图40]图40是示出在3D时段(当接收立体图像时)和2D时段(当接收二维图像时)交替相继的情况下的接收流的示例的图。
[图41]图41是示出CPU中的操作模式切换控制的处理过程的示例的流程图。
[图42]图42是示出传输流中包括的视频流的示例的图。
[图43]图43是示出3D时段和2D时段交替相继并且存在用于标识模式的辅助信息(多视角视角位置SEI消息)的情况的图。
[图44]图44是示出CPU中的操作模式切换控制的处理过程的示例的流程图。
[图45]图45是示出帧封装布置数据(frame_packing_arrangement_data()(帧_封装_布置_数据()))的结构示例(语法)的图。
[图46]图46是示出“arrangement_type(布置_类型)”的值及其含义的图。
[图47]图47是示出“user_data()(用户_数据())”的结构示例(语法)的图。
[图48]图48是示出在3D时段(当接收立体图像时)和2D时段(当接收二维图像时)交替相继的情况下的接收流的示例的图。
[图49]图49是示出在2D时段期间以场景单位或图片组单位(GOP单位)插入表示2D模式的辅助信息的情况的图。
[图50]图50是示出CPU中的操作模式切换控制的处理过程的示例的流程图。
[图51]图51是示出在3D时段(当接收立体图像时)和2D时段(当接收二维图像时)交替相继的情况下的接收流的示例的图。
[图52]图52是示出3D时段和3D时段交替相继并且存在用于标识模式的辅助信息(表示新定义的2D模式的SEI消息)的情况的图。
[图53]图53是示出左眼和右眼的每个视角的图像数据被编码成单个图片的数据的示例的图。
[图54]图54是示出生成传输流的发送数据生成单元的另一个配置示例的框图。
[图55]图55是示出形成图像发送和接收系统的接收器的另一个配置示例的框图。
[图56]图56是示出3D时段(当接收立体图像时)和2D时段(当接收二维图像时)交替相继的情况下的接收流的示例的图。
[图57]图57是示出在3D时段(当接收立体图像时)和2D时段(当接收二维图像时)交替相继的情况下的接收流的示例的图。
[图58]图58是示出传输流中所包括的视频流的示例的图。
[图59]图59是总地示出当在3D时段存在基本流和附加流以及在2D时段中仅存在基本流时用于标识3D时段和2D时段的情况A、情况B和情况C的方法的图。
[图60]图60是示出3D时段(当接收立体图像时)和2D时段(当接收二维图像时)交替相继的情况下的接收流的示例的图。
[图61]图61是示出在3D时段(当接收立体图像时)和2D时段(当接收二维图像时)交替相继的情况下的接收流的示例的图。
[图62]图62是示出CPU中的操作模式切换控制的处理过程的示例的流程图。
[图63]图63是示出当接收器接收立体(3D)图像时的接收包处理的示例的图。
[图64]图64是示出NAL单元报头(NAL单元报头MVC扩展)的配置示例(语法)的图。
[图65]图65是示出当接收器接收二维(2D)图像时的接收包处理的示例的图。
[图66]图66是示出在传输流中包括的视频流的示例的图。
[图67]图67是示出在3D时段(3D模式时段)和2D时段(2D模式时段)交替相继并且存在用于标识模式的辅助信息(多视角视角位置SEI消息)的情况的图。
[图68]图68是示出3D时段(当接收立体图像时)和2D时段(当接收二维图像时)交替相继的情况下的接收流的示例的图。
[图69]图69是示出在3D时段(当接收立体图像时)和2D时段(当接收二维图像时)交替相继的情况下的接收流的示例的图。
[图70]图70是示出在传输流中包括的视频流的示例的图。
[图71]图71是示出3D时段(3D模式时段)和2D时段(2D模式时段)交替相继并且存在用于标识模式的辅助信息(多视角视角位置SEI消息)的情况的图。
[图72]图72是示出在3D时段(当接收立体图像时)和2D时段(当接收二维图像时)交替相继的情况下的接收流的示例的图。
[图73]图73是示出在3D时段(当接收立体图像时)和2D时段(当接收二维图像时)交替相继的情况下的接收流的示例的图。
[图74]图74时示出在传输流中包括的视频流的示例的图。
[图75]图75是示出3D时段和2D时段交替相继并且存在用于标识模式的辅助信息(表示新定义的2D模式的SEI消息)的情况的图。
[图76]图76是示出在3D时段(当接收立体图像时)和2D时段(当接收二维图像时)交替相继的情况下的接收流的示例的图。
[图77]图77是示出3D时段(当接收立体图像时)和2D时段(当接收二维图像时)交替相继的情况下的接收流的示例的图。
[图78]图78是示出在传输流中包括的视频流的示例的图。
[图79]图79是总地示出当在3D时段和2D时段中都存在基本流和附加流时用于标识3D时段和2D时段的情况D、情况E和情况F的方法的图。
[图80]图80是示出流配置示例1的图，在流配置示例1中，在3D时段(3D图像发送模式)中发送基本视频流和附加视频流，而在2D时段(2D图像发送模式)中发送单个视频流(仅基本视频流)。
[图81]图81是示出流配置示例2的图，在流配置示例2中个，在3D时段(3D图像发送模式)和2D时段(2D图像发送模式)中都发送基本视频流和附加视频流。
[图82]图82是示出基本视频流和附加视频流都存在于3D时段和2D时段中并且利用PMT的视频ES循环和节目循环来执行信令的示例的图。
[图83]图83是示出立体节目信息描述符(stereoscopic_program_info_descriptor(立体_节目_信息_描述符))的结构示例(语法)的图。
[图84]图84是示出MPEG2立体视频描述符的结构示例(语法)的示例。
[图85]图85是示出传输流TS的配置示例的图。
[图86]是示出基本视频流和附加视频流都存在于3D时段和2D时段并且利用PMT的视频ES循环来执行信令的示例的图。
[图87]图87是示出基本视频流和附加视频流都存在于3D时段和2D时段并且利用PMT的节目循环来执行信令的示例的图。
[图88]图88是示出基本视频流和附加视频流存在于3D时段而仅基本视频流存在于2D时段并且利用PMT的视频ES循环和节目循环来执行信令的示例的图。
[图89]图89是示出基本视频流和附加视频流存在于3D时段而仅基本视频流存在于2D时段并且利用视频ES循环来执行信令的示例的图。
[图90]图90是示出基本视频流和附加视频流存在于3D时段而仅基本视频流存在于2D时段并且利用PMT的节目循环来执行信令的示例的图。
[图91]图91是示出当接收扩展图像时的接收包处理的示例的图。
[图92]图92是示出NAL单元报头(NAL单元报头SVC扩展)的配置示例(语法)的图。
[图93]图93是示出基本图像发送模式中的接收包处理的示例的图。
[图94]图94是示出传输流中的节目映射表(PMT)和视频原始流的配置示例的图。
具体实施方式
在下文中，将描述本发明的实施例。此外，将按照以下顺序来进行描述。
1.实施例
2.修改示例
<1.实施例>
[图像发送和接收系统]
图1示出了作为实施例图像发送和接收系统10的配置示例。图像发送和接收系统10包括广播站100和接收器200。广播站100承载传输流TS，传输流TS是广播波上的载体(container)从而被发送。
当发送立体(3D)图像时，传输流TS包括一个或多个视频流，视频流包括预定数量的图像数据，例如，在本实施例中，视频流包括用于立体图像显示的三个视角的图像数据。在该情况下，传输作为视频流的例如MVC基本视角视频原始(elementary)流(基本视角子位流)和MVC非基本视角视频原始流(非基本视角子位流)。
此外，当显示二维(2D)图像时，将包含二维图像数据的视频流包括在传输流TS中。在该情况下，传输作为视频流的例如AVC(2D)视频原始流。
在发送立体(3D)图像时所发送的传输流TS包括通过对用于立体图像显示的多个视角中的至少中央视角、左端视角和右端视角的图像数据进行编码而获得的一个或多个视频流。在该情况下，中央视角形成位于左端视角和右端视角之间的中间视角。
在发送立体(3D)图像时所发送的传输流TS中所包括的视频流中，如图2所示，中央(Center)视角图像数据项、左端(Left)视角图像数据项和右端(Right)视角图像数据项中的每个图像数据项被编码为单个图片。在所示的示例中，每个图片的数据均具有全HD尺寸1920*1080。
或者，在发送立体(3D)图像时所发送的传输流TS中所包括的视频流中，如图3(a)所示，中央(Center)视角的图像数据被编码为单个图片的数据，而左端(Left)视角的图像数据项和右端(Right)视角的图像数据项经过交错处理并被编码为单个图片的数据。在所示的示例中，每个图片的数据均具有全HD尺寸1920*1080。
此外，在左端视角的图像数据项和右端视角的图像数据项经过交错处理并被编码为单个图片的数据的情况下，每个视角的图像数据在水平方向或竖直方向被抽去(decimate)1/2。在所示的示例中，交错类型是左右(side-by-side)类型，并且每个视角的尺寸是960*1080。尽管未示出，也可以考虑将上下类型作为交错类型，并且在该情况下，每个视角的尺寸为1920*540。
如上所述，在左端视角的图像数据项和右端视角的图像数据项经历交错处理并被编码为单个图片的数据的情况下，在接收方，如图3(b)所示，执行缩放处理，从而左端视角的图像数据尺寸和右端视角的图像数据尺寸被恢复为全HD尺寸1920*1080。
在发送立体(3D)图像时所发送的传输流TS中所包括的视频流包括一个或多个图片的数据。例如，传输流TS包括以下三个视频流(视频原始流)。换句话说，该视频流是通过将中央视角的图像数据项、左端视角的图像数据项和右端视角的图像数据项中的每个图像数据项编码为单个图片而获得的视频流。
在该情况下，例如，通过将中央视角的图像数据编码为单个图片而获得的视频流是MVC基本视角视频原始流(基本视频流)。此外，通过将左端视角的图像数据项和右端视角的图像数据项中的每个数据项编码为单个图片而获得的其他两个视频流是MVC非基本视角视频原始流(附加视频流)。
此外，例如，传输流TS包括以下两个视频流(视频原始流)。换句话说，该视频流是通过将中央视角的图像数据编码为单个图片而获得的视频流以及通过对左端视角的图像数据项和右端视角的图像数据项执行交错处理从而编码成单个图片而获得的视频流。
在该情况下，例如，通过将中央视角的图像数据编码成单个图片而获得的视频流是MVC基本视角视频原始流(基本视频流)。此外，通过对左端视角的图像数据项和右端视角的图像数据项执行交错处理以编码成单个图片而获得的其他视频流是MVC非基本视频原始流(附加视频流)。
此外，例如，传输流TS包括以下单个视频流(视频原始流)。换句话说，该单个视频流包括通过将中央视角的图像数据项、左端视角的图像数据项和右端视角的图像数据项中的每个编码成单个图片的数据而获得的数据。在该情况下，单个视频流是MVC基本视角视频原始流(基本视频流)。
图4(a)和4(b)示出了包括多个图片的编码数据的视频流的示例。每个图片的编码数据被顺序地放置于每个访问单元中。在该情况下，起始(initial)图片的编码数据由“SPS至编码宏块条(SPS to Coded Slice)”构成，第二图片和之后的图片的编码数据由“子集SPS至编码宏块条(Subset SPS to Coded Slice)”构成。此外，该示例示出了执行MPEG4-AVC编码的示例，但是也可以应用于其他编码方法。此外，图中的十六进制数字表示“NAL单元类型”。
在各个图片的编码数据项一起存在于单个视频流中的情况下，需要立即识别各个图片之间的边界。然而，可以仅将访问单元分隔符(Access Unit Delimeter，AUD)附加于每个访问单元的头部。因此，如图4(b)所示，考虑：定义表示边界的新的“NAL单元”，如“视角分离标记(View Separation Marker)”，并将其放置于各个图片的编码数据项之间。从而，可以即刻访问每个图片的引导数据(leading data)。此外，图4(a)示出了“视角分离标记”未被放置于两个视角的数据项之间的示例。
图5(a)和5(b)示出了三个图片的编码数据项一起存在于单个视频流中的示例。此处，通过子流表示每个图片的编码数据。图5(a)示出了图片组(GOP)的引导访问单元，图5(b)示出了GOP的除了引导访问单元之外的访问单元。
与视频流的图像数据有关的视角配置信息被插入到视频流的层(图片层、序列层等等)中。视角配置信息构成呈现立体信息的要素的辅助信息。视角配置信息包括：表示在相应的视频流中包括的图像数据是否是形成3D的视角中的一部分视角的图像数据的信息，在图像数据是形成3D的视角中的一部分视角的图像数据的情况下表示哪个视角的图像数据是在该视频流中包括的图像数据的信息(表示每个视角的相对位置关系的信息)，表示多个图片的数据是否被编码在相应视频流的单个访问单位中的信息，等等。
视角配置信息被插入到例如视频流的序列头部或图片头部的用户数据区域等中。至少以节目单位、场景单位、图片组单位或图片单位来插入视角配置信息。接收方基于视角配置信息来执行3D显示处理或2D显示处理。此外，在接收方基于视角配置信息来执行3D显示处理的情况下，通过利用多个视角的图像数据执行适当的有效的处理，从而用裸眼观看三维图像(立体图像)。稍后将描述视角配置信息的细节。
此外，用于标识视角配置信息是否被插入到视频流的层中的标识信息被插入到传输流TS的层中。该标识信息被插入例如在传输流TS中所包括的节目映射表(PMT)的视频原始循环(Video ES loop)、事件信息表(EIT)等等之下。接收方基于该标识信息可以容易地识别出视角配置信息是否被插入到视频流的层中。稍后将描述标识信息的细节。
接收器200接收从广播站100发送的广播波上承载的传输流TS。此外，当发送立体(3D)图像的情况下，接收器200对在传输流TS中包括的视频流进行解码以获取中央视角、左端视角和右端视角的图像数据。此时，接收器200可以基于在视频流的层中所包括的视角配置信息来理解哪个视角位置的图像数据是在每个视频流中包括的图像数据。
接收器200基于中央视角和左端视角之间的视差数据以及中央视角和右端视角之间的视差数据，通过插值处理，来获取位于中央视角和左端之间的以及位于中央视角和右端视角之间的预定数量的视角的图像数据。此时，接收器200可以基于在视频流的层中包括的视角配置信息来辨认视角的数量，因此能够容易地理解哪个位置的视角未被发送。
此外，接收器200对与视频流一起从广播站100发送的视差数据流进行解码以获取上述视差数据。或者，接收器200基于获取到的中央视角、左端视角和右端视角的视差数据来生成上述视差数据。
接收器200基于通过上述内插处理获取的每个视角的图像数据以及从广播站100发送的中央视角的图像数据、左端视角的图像数据和右端视角的图像数据，将各个视角的图像结合并显示在显示单元上，使得用裸眼看到三维图像(立体图像)。
图6示意性地示出了当视角数量为五时的接收器200的显示单元。此处，“视角_0(View_0)”表示中央视角，“视角_1(View_1)”表示挨着中央的第一右视角，“视角_2(View_2)”表示挨着中央的第一左视角，“视角_3(View_3)”表示挨着中央的第二右视角，即，右端视角，“视角_4(View_4)”表示挨着中央的第二左视角，即，左端视角。在该情况下，仅从广播站100发送视角“视角_0”、“视角_3”和“视角_4”的图像数据，接收器200接收视角“视角_0”、“视角_3”和“视角_4”的图像数据，并通过插值处理来获得其余的视角“视角_1”和“视角_2”的图像数据。此外，接收器200对五个视角的图像进行结合并将其显示在显示单元上，使得用裸眼看到三维图像(立体图像)。此外，图6示出了柱状透镜(lenticular lens)，但是也可以代替柱状透镜而使用视差栅栏(parallax barrier)。
当发送二维(2D)图像数据时，接收器200对在传输流TS中包括的视频流进行解码以获取二维图像数据。此外，接收器200基于该二维图像数据，在显示单元上显示二维图像。
(发送数据生成单元的配置示例)
图7示出了广播站100中生成上述传输流TS的发送数据生成单元110的配置示例。发送数据生成单元110包括N个图像数据输出部111-1至111-N、视角选择器112、缩放器(scaler)113-1、113-2和113-3、视频编码器114-1、114-2和114-3以及复用器115。此外，发送数据生成单元110包括视差数据生成部116、视差编码器117、图形数据输出部118、图形编码器119、音频数据输出部120和音频编码器121。
首先，将描述发送立体(3D)图像的情况。图像数据输出部111-1至111-N输出用于立体图像显示的N个视角(视角1、……和视角N)的图像数据。由对主体进行成像并输出图像数据的摄像装置、从存储介质中读取图像数据的以输出图像数据的图像数据读取部等等构成图像数据输出部。此外，未被发送的视角的图像数据实际上可以不存在。
此外，视角选择器112从N个视角(视角1、……和视角N)的图像数据中至少提取左端视角和右端视角的图像数据，并且选择性地提取位于左端和右端之间的(一个或两个或更多个)中间视角的图像数据。在该实施例中，视角选择器112提取左端视角的图像数据VL和右端视角的图像数据VR，并提取中央视角的图像数据VC。图8示出了视角选择器112中的视角选择状态。
此外，缩放器113-1、113-2和113-3分别对图像数据项VC、VL和VR执行缩放处理，以获得例如全HD尺寸1920*1080的图像数据项VC’、VL’和VR’。在该情况下，当图像数据项VC、VL和VR具有全HD尺寸1920*1080时，按照其原样输出这些图像数据项。此外，当图像数据项VC、VL和VR大于尺寸1920*1080时，图像数据项被缩小而后被输出。
视频编码器114-1对中央视角的图像数据VC’执行编码，例如，MPEG4-AVC(MVC)或MPEG2视频(MPEG2video)，以获得编码的视频数据。此外，视频编码器114-1通过利用在后续级中设置的流格式器(未示出)生成编码数据的视频流作为子流(子流1)。
此外，视频编码器114-2对左端视角的图像数据VL’执行编码，例如，MPEG4-AVC(MVC)或MPEG2视频，以获得编码的视频数据。此外，视频编码器114-2通过利用在后续级中设置的流格式器(未示出)生成包括编码数据的视频流作为子流(子流2)。
此外，视频编码器114-3对右端视角的图像数据VR’执行编码，例如，MPEG4-AVC(MVC)或MPEG2视频，以获得编码的视频数据。此外，视频编码器114-3通过利用在后续级中设置的流格式器(未示出)生成包括编码数据的视频流作为子流(子流3)。
视频编码器114-1、114-2和114-3将上述视角配置信息插入到视频流的层中。如上所述，视角配置信息包括表示在相应视频流中包括的图像数据是否是形成3D的视角中的一部分视角的图像数据的信息。此外，该信息表示在相应视频流中包括的图像数据是形成3D的视角中的一部分视角的图像数据。
此外，该视角配置信息包括：表示哪个视角的图像数据是在相应视频流中包括的图像数据的信息，表示多个图片的数据是否被编码成相应视频流的单个访问单元的信息，等等。该视角配置信息被插入例如视频流的序列头部或图片头部的用户数据区域。
视差数据生成部116基于从视角选择器112输出的中央视角、左端视角和右端视角中的每个视角的图像数据来生成视差数据。该视差数据包括例如中央视角和左端视角之间的视差数据以及中央视角和右端视角之间的视差数据。在该情况下，以像素单位或块单位来生成视差数据。图9示出了每个块的视差数据(视差向量)的示例。
图10示出了生成块单位的视差数据的方法的示例。该示例是从第i个视角获得表示第j个视角的视差数据的示例。在该情况下，在第i个视角的图片中设置像素块(视差检测块)，例如，4*4、8*8或16*16。
如该图所示，第i个视角的图片是检测图像，第j个视角的图片是参考图像，对第j个视角的图片的每个块，搜索第i个视角的图片的块，以使得像素之间的差的绝对值之和变得最小，从而获得视差数据。
换句话说，如以下公式(1)所表示的那样，通过块搜索以使得第N个块中的差绝对值之和变得最小，来获得第N个块的视差数据DPn。此外，在公式(1)中，Dj表示第j个视角的图片中的像素值，Di表示第i个视角的图片中的像素值。
DPn＝min(Σabs(differ(Dj-Di)))(1)
图11示出了生成像素单位的视差数据的方法的示例。该示例对应于通过用像素单位替代块单位来生成像素单位的视差数据的方法。图11(a)中的“A”、“B”、“C”、“D”和“X”分别表示块区域。
根据这些块的视差数据，如图11(b)所示，利用以下公式(2)获得块“X”的被划分成的四个区域中的每个区域的视差数据。例如，与“A”和“B”相邻的划分区域的视差数据X(A，B)是块“A”、“B”和“X”的视差数据的中值。对于其他划分区域也是一样的，从而获得视差数据。
X(A,B)＝median(X,A,B)
X(A,C)＝median(X,A,C)
X(B,D)＝median(X,B,D)
X(C,D)＝median(X,C,D) (2)
通过上述一次转换，视差数据所占据的区域被缩小到原始宽度和高度尺寸的1/2尺寸。通过重复执行该转换预定次数，基于块尺寸获得像素单位的视差数据。此外，在纹理中包括边缘、屏幕中的对象的复杂度高于其他部分等情况下，通过适当地将块尺寸设置得小一些可以改善初始块单元的视差数据本身的纹理跟随性(followability)。
视差编码器117对视差数据生成部116所生成的视差数据执行编码，以生成视差流(视差数据原始流)。该视差流包括像素单位或块单位的视差数据。在视差数据是像素单位的情况下，视差数据可以被压缩编码并且与像素数据同样地被发送。
此外，在块单位的视差数据被包括在该视差流中的情况下，接收方执行上述转换处理以转换成像素单位。此外，在未发送该视差流的情况下，如上所述，接收方可以获得各个视角之间的块单位的视差数据并且还执行转换以转换成像素单位。
图形数据输出部118输出在图像上叠加的图形的数据(还包括作为副标题(caption)的字幕)。图形编码器119生成包括从图形数据输出部118输出的图形数据的图形流(图形原始流)。此处，图形构成叠加信息，并且是例如标志、副标题等等。
此外，从图形数据输出部118输出的图形数据是例如在中央视角的图像上叠加的图形的数据。图形编码器119可以基于视差数据生成部116所生成的视差数据来创建在左端视角和右端视角上叠加的图形的数据，并且可以生成包括图形数据的图形流。在该情况下，接收方不必创建在左端视角和右端视角上叠加的图形的数据。
图形数据主要是位图数据。表示在图像上的叠加位置的偏移信息被添加到图形数据。偏移信息表示例如从图像的左上方上的原点到图形的叠加位置的左上方上的像素的竖直方向和水平方向上的偏移值。此外，通过标准化，将发送作为位图数据的副标题数据的标准操作成“DVD_Subtitling”，DVD_Subtitling”具有作为欧洲数字广播标准的DVB。
音频数据输出部120输出与图像数据对应的音频数据。由例如从麦克风或存储介质读取音频数据以将其输出的音频数据读取部构成音频数据输出部120。音频编码器121对从音频数据输出部120输出的音频数据执行编码，如MPEG-2音频(MPEG-2Audio)或ACC，以生成音频流(音频原始流)。
复用器115对视频编码器114-1、114-2和114-3、视差编码器117、图形编码器119和音频编码器121所生成的各个原始流进行分组和复用，以生成传输流TS。在该情况下，呈现时间戳(Presentation Time Stamp，PTS)被插入每个分组原始流(PES)的报头，使得在接收方执行同步再现。
复用器115将上述标识信息插入传输流TS的层中。该标识信息是用于标识视角配置信息是否被插入视频流的层中的信息。例如，该标识信息被插入在事件信息表(EIT)、传输流TS中所包括的节目映射表(PMT)的视频原始循环(视频ES循环)之下。
接下来，将描述发送二维(2D)图像的情况。图像数据输出部111-1值111-N中的任一个输出二维图像数据。视角选择器112提取二维图像数据。缩放器113-1对视角选择器112所选择的二维图像数据执行缩放处理，以获得例如全HD尺寸1920*1080的二维图像数据。在该情况下，缩放器113-1和113-2处于不工作状态。
视频编码器114-1对二维图像数据执行编码，例如，MPEG4-AVC(MVC)或MPEG2视频，以获得编码视频数据。此外，视频编码器114-1通过利用在后续级中设置的流格式器(未示出)来生成包括编码数据的视频流作为子流(子流1)。在该情况下，视频编码器114-1和114-2处于不工作状态。
视频编码器114-1将上述视角配置信息插入到视频流的层中。如上所述，视角配置信息包括：表示在相应视频流中包括的图像数据是否为形成3D的视角中的一部分视角的图像数据的信息。此处，该信息表示在相应视频流中包括的图像数据不是形成3D的视角中的一部分视角的图像数据。因此，视角配置信息不包括其他信息。此外，当发送二维(2D)图像时，考虑上述视角配置信息不被插入到视频流的层中。
尽管省略了详细描述，但是图形数据输出部118、图形编码器129、音频数据输出部120和音频编码器121与发送立体(3D)图像的情况是相同的。此外，视差数据生成部116和视差编码器117也处于不工作状态。
复用器115对视频编码器114-1、图形编码器119和音频编码器121所生成的各个原始流进行分组和复用，以生成传输流TS。在该情况下，呈现时间戳(PTS)被插入到每个分组原始流(PES)的报头中，使得在接收方执行同步再现。
将简略描述图7中示出的发送数据生成单元110的操作。首先，将描述发送立体(3D)图像时的操作。从N个图像数据输出部111-1至111-N输出的用于立体图像显示的N个视角(视角1、……、和视角N)的图像数据被提供到视角选择器112。视角选择器112从N个视角的图像数据提取中央视角的图像数据VC、左端视角的图像数据VL和右端视角的图像数据VR。
从视角选择器112提取的中央视角的图像数据VC被提供到缩放器113-1，并经过例如缩放处理以达到全HD尺寸1920*1080。已经过缩放处理的图像数据VC’被提供到视频编码器114-1。
视频编码器114-1对图像数据VC’执行编码以获得编码视频数据，并生成包括编码数据的视频流作为子流(子流1)。此外，视频编码器114-1将视角配置信息插入视频流的图片报头或序列报头的用户数据区域等等中。该视频流被提供给复用器115。
此外，从视角选择器112提取的左端视角的图像数据VL被提供到缩放器113-2，并经过例如缩放处理以达到全HD尺寸1920*1080。已经过缩放处理的图像数据VL’被提供给视频编码器114-2。
视频编码器114-2对图像数据VL’执行编码以获得编码视频数据，并生成包括编码数据的视频流作为子流(子流2)。此外，视频编码器114-2将视角配置信息插入视频流的图片报头或序列报头的用户数据区域中。该视频流被提供到复用器115。
此外，从视角选择器112提取的左端视角的图像数据VR被提供到缩放器113-3，并经过例如缩放处理以达到全HD尺寸1920*1080。已经过缩放处理的图像数据VR’被提供到视频编码器114-3。
视频编码器114-3对图像数据VR’执行编码以获得编码视频数据，并生成包括编码数据的视频流作为子流(子流3)。此外，视频编码器114-3将视角配置信息插入视频流的图片报头或序列报头的用户数据区域。该视频流被提供到复用器115。
此外，从视角选择器112输出的中央视角、左端视角和右端视角中的每个视角的图像数据被提供到视差数据生成部116。视差数据生成部116基于每个视角的图像数据来生成视差数据。视差数据包括中央视角和左端视角之间的视差数据以及中央视角和右端视角之间的视差数据。在该情况下，以像素单位或块单位生成视差数据。
视差数据生成部116所生成的视差数据被提供到视差编码器117。视差编码器117对视差数据执行编码处理以生成视差流。视差流被提供到复用器115。
此外，从图形数据输出部118输出的图形数据(还包括字幕数据)被提供到图形编码器119。图形编码器119生成包括图形数据的图形流。图形流被提供到复用器115。
此外，从音频数据输出部120输出的音频数据被提供到音频编码器121。音频编码器121对音频数据执行编码，如MPEG-2音频或AAC，以生成音频流。该音频流被提供到复用器115。
复用器115对从各个编码器提供的原始流进行分组和复用，以生成传输流TS。在该情况下，PTS被插入每个PES报头，使得在接收方执行同步再现。此外，复用器115将用于标识视角配置信息是否被插入视频流的层中的标识信息插入在PMT、EIT等等之下。
此外，在图7中所示的发送数据生成单元110中，示出了三个视频流被包括在传输流TS中的情况。换句话说，传输流TS包括通过将中央视角图像数据项、左端视角图像数据项和右端视角图像数据项的每个图像数据项编码成单个图片而获得的三个视频流。
尽管省略了详细描述，但是如上所述，可以按照相同的方式对在传输流TS中包括两个或一个视频流的情况进行配置。在两个视频流被包括在传输流TS中的情况下，例如，包括以下视频流。换句话说，该视频流是通过将中央视角的图像数据编码成单个图片而获得的视频流、以及通过对左端视角的图像数据项和右端视角的图像数据项执行交错处理以编码成单个图片而获得的视频流。
此外，在单个视频流被包括在传输流TS中的情况下，例如，包括以下视频流。换句话说，该视频流包括以下视频流，该视频流具有通过将中央视角的图像数据项、左端视角的图像数据项和右端视角的图像数据项中的每个图像数据项编码成单个图片而获得的数据。
接下来，将描述发送二维(2D)图像的操作。二维图像数据输出自图像数据输出部111-1至111-N中的任一个。视角选择器112提取二维图像数据，二维图像数据被提供到缩放器113-1。缩放器113-1对视角选择器112提取的二维图像数据执行缩放处理，以获得例如全HD尺寸1920*1080的二维图像数据。已经过缩放的二维图像数据被提供到视频编码器114-1。
视频编码器114-1对二维图像数据执行编码，如MPEG4-AVC(MVC)或MPEG2视频，以获得编码视频数据。此外，视频编码器114-1通过利用在后续级中设置的流格式器(未示出)来生成包括编码数据的视频流作为子流(子流1)。
视频编码器114-1将上述视角配置信息插入视频流的层中。如上所述，视角配置信息包括：表示相应视频流中所包括的图像数据是否为形成3D的视角中的一部分视角的图像数据的信息。此处，该信息表示在相应视频流中包括的图像数据不是形成3D的视角中的一部分视角的图像数据。复用器115对视频编码器114-1、图形编码器119和音频编码器121所生成的各个原始流进行分组和复用，以生成传输流TS。
[标识信息和视角配置信息和TS配置的结构]
如上所述，用于标识视角配置信息是否被插入视频流的层中的标识信息被插入传输流TS的层中。图12示出了作为标识信息的多视角流配置描述符(multiview_stream_configuration_descriptor，多视角_流_配置_描述符)的结构示例(语法)。此外，图13示出了在图12中示出的结构示例的主要信息的内容(语义)。
“multiview_stream_configuration_tag(多视角_流_配置_标记)”是表示描述符类型的8位数据，并且此处表示多视角配置描述符。“multiview_stream_configuration_length(多视角_流_配置_长度)”是表示描述符的长度(尺寸)的8位数据。该数据是描述符的长度，并且表示后续字节的数量。
“multiview_stream_checkflag(多视角_流_检查标记)”表示视角配置信息是否被插入视频流的层中。“1”表示视角配置信息被插入视频流的层中，“0”表示视角配置信息未被插入视频流的层中。如果是“1”，接收方(解码器)检查在用户数据区域出现的视角配置信息。
此外，如上所述，包括表示相应视频流中所包括的图像数据是否为形成3D的视角中的一部分视角的图像数据的信息等在内的视频配置信息被插入视频流的层中。如上所述，在发送立体(3D)图像时需要插入视角配置信息，而在发送二维(2D)图像时可以不插入视角配置信息。图14示出了作为视角配置信息的多视角流配置信息(multiview_stream_configuration_info())的结构示例(语法)。此外，图15、16和17示出了在图14中示出的结构示例的主要信息的内容(语义)。
1位字段的“3D_flag(3D_标记)”表示在编码视频流中包括的图像数据是否为形成3D的视角中的一部分视角的图像数据。“1”表示图像数据是一部分视角的图像数据，而“0”表示图像数据不是一部分视角的图像数据。
如果“3D_flag＝1”，则呈现各条信息“view_count(视角_计数)”、“single_view_es_flag(单个_视角_es_标志)”、“view_interleaving_flag(视角_交错_标记)”。4位字段的“view_count(视角_计数)”表示形成3D业务的视角的数量。其最小值为1，其最大值为15。1位字段的“single_view_es_flag(单个_视角_es_标志)”表示多个图片的数据是否被编码在相应视频流的单个访问单元中。“1”表示仅一个图片的数据被编码，“0”表示两个或更多个图片的数据被编码。
1位字段的“view_interleaving_flag(视角_交错_标记)”表示是否两个视角的图像数据经过交错处理并被编码成相应视频流中的单个图片的数据。“1”表示图像数据经过交错处理并形成屏幕分割(screen split)，“0”表示未执行交错处理。
如果“view_interleaving_flag＝0”，则存在信息“view_allocation(视角_分配)”。4位的“view_allocation”表示哪个视角的图像数据是包括在相应视频流中的图像数据，即，视角分配。例如，“0000”表示中央视角。此外，例如，“0001”表示挨着中央的第一左视角。此外，例如，“0010”表示挨着中央的第一右视角。该“view_allocation”形成表示每个视角的相对位置关系的信息。
如果“view_interleaving_flag＝1”，则存在“view_pair_position_id(视角_对_位置_id)”和“view_interleaving_type(视角_交错_类型)”。3位字段的“view_pair_position_id”表示所有视角中的两个视角的相对视角位置。在该情况下，例如，扫描顺序中的更早位置被设置为左，更晚的位置被设置为右。例如，“000”表示位于两端的成对的视角。此外，例如“001”表示从两端起向内一位的成对的两个视角。此外，例如“010”表示从两端起向内一位的成对的视角。
1位字段“view_interleaving_type”表示交错类型。“1”表示交错类型是左右类型，“0”表示交错类型是上下类型。
此外，如果“3D_flag＝1”，则存在各条信息“display_flag(显示_标记)”、“indication_of_picture_size_scaling_horizontal(图片_尺寸_缩放_水平_的_表示)”和“indication_of_picture_size_scaling_vertical(图片_尺寸_缩放_竖直_的_表示)”。1位字段的“display_flag(显示_标记)”表示当显示图像时主要(essentially)显示相应视角。另一方面，“0”表示不主要显示该视角。
4位字段的“indication_of_picture_size_scaling_horizontal”表示解码图像相对于全HD(1920)的水平像素比率。“0000”表示100％，“0001”表示80％，“0010”表示75％，“0011”表示66％，“0100”表示50％，“0101”表示33％，“0100”表示25％，“0111”表示20％。
4位字段的“indication_of_picture_size_scaling_vertical”表示解码图像相对于全HD(1080)的竖直像素比率。“0000”表示100％，“0001”表示80％，“0010”表示75％，“0011”表示66％，“0100”表示50％，“0101”表示33％，“0110”表示25％，“0111”表示20％。
图18示出了“view_count”所表示的视角数量与“view_pair_position_id”所表示的两个视角(此处，“视角1”和“视角2”)的位置之间的关系的示例。示例(1)是“view_count”所表示的视角数量为2，而“view_pair_position_id＝000”表示位于两端的两个视角的情况。此外，示例(2)是“view_count”所表示的视角数量为4而“view_pair_position_id＝000”表示位于两端的视角的情况。
此外，示例(3)是“view_count”所表示的视角数量为4而“view_pair_position_id＝001表示为定位在从两端起向内一位的两个视角的情况。此外，示例(4)是”view_count”所表示的视角数量为5而“view_pair_position_id＝000”表示位于两端的两个视角的情况。
此外，示例(5)是“view_count”所表示的视角数量为9而“view_pair_position_id＝000”表示位于两端的两个视角的情况。此外，示例(6)是“view_count”所表示的视角数量为9而“view_pair_position_id＝010”表示被定位在从两端起向内两位的两个视角的情况。
可以与位于两端的成对的视角一起附加地发送被定位在比两端向内的成对的视角，从而在接收方对视角进行结合时在位于两端的两个视角不太可能满足足够的图像质量的情况下改进插值和生成的性能。此时，附加地发送的成对的视角的编码视频数据可以被编码成共享位于两端的成对的视角的流中的访问单元，或者可以被编码成另一个流。
图19示出了如上所述与位于两端的两个视角的图像数据一起发送比两端更向内定位的成对的两个视角的图像数据的情况下发送方或接收方生成视差数据的示例。在所示出的示例中，“view_count”所表示的视角数量为9。此外，存在包括位于两端的两个视角(视角1和视角2)的图像数据的子流(子流1)以及包括比所述视角更向内定位的两个视角(视角3和视角4)的图像数据的子流(子流2)。
在该情况下，首先，计算“视角1”和“视角3”的视差数据。接下来，计算“视角2”和“视角4”的视差数据。最后，计算“视角3”和“视角4”的视差数据。此外，在子流之间的视角的分辨率不同的情况下，将分辨率统一为任一个分辨率，然后计算视差数据。
图20示出了接收方基于如上所述的计算出的视差数据来插值和生成位于各个视角之间的视角的图像数据的示例。在该情况下，首先，利用“视角1”和“视角3”之间的视差数据来插值和生成位于“视角1”和“视角3”之间的“view_A(视角A)”。
接下来，利用“视角2”和“视角4”之间的视差数据来插值和生成位于“视角2”和“视角4”之间的“View_B(视角B)”。最终，利用“视角3”和“视角4”之间的视差数据来插值和生成位于“视角3”和“视角4”之间的“View_C(视角C)”、“View_D(视角D)”“View_E(视角E)”。
接下来，将描述作为视角配置信息的多视角流配置信息(multiview_stream_configuration_info())插入视频流(视频原始流)的用户数据区域中的情况。在该情况下，例如，通过利用用户数据区域以图片单位或GOP单位插入多视角流配置信息。
例如，在编码类型是AVC或MVC的情况下，或者甚至在NAL包等的编码结构类似的编码类型如HEVC的情况下，多视角流配置信息被插入访问单元的“SEIs”部分中作为“多视角流配置SEI消息”。图21(a)示出了图片组(GOP)的引导访问单元，图21(b)示出了GOP的除了引导访问单元之外的访问单元。在以GOP单位插入多视角流配置信息的情况下，“多视角流配置SEI消息”仅被插入GOP的引导访问单元中。
图22示出了“多视角流配置SEI消息”的结构示例(语法)。“uuid_iso_iec_11578”具有“ISO/IEC 11578:1996Annex A.”所表示的UUID值。“userdata_for_multiview_stream_configuration()(用于_多视角_流_配置_的用户数据())”被插入“user_data_payload_byte(用户_数据_负荷_字节)”的字段中。图22(b)示出了“userdata_for_multiview_stream_configuration()(用于_多视角_流_配置_的用户数据())”的结构示例(语法)。多视角流配置信息(multiview_stream_configuration_info())被插入其中(参照图14)。“userdata_id(用户数据_id)”是由无符号的16位表示的多视角流配置信息的标识符。
此外，例如，编码类型是MPEG2视频的情况下，多视角流配置信息被插入图片报头部分的用户数据区域作为用户数据“user_data()”。图23(a)示出了“user_data()”的结构示例(语法)。32位的“user_data_start_code(用户_数据_起始_码)”是用户数据(user_data(用户_数据))的起始码并且是固定值“0x000001B2”。
起始码之后的32位字段是用于标识用户数据的内容的标识符。此处，该标识符是“Stereo_Video_Format_Signaling_identifier(立体_视频_格式_信令_标识符)”并且使得用户数据能够被识别为多视角流配置信息。作为流相关信息的“Multiview_stream_configuration()(多视角_流_配置())”被插在该标识符之后作为数据主体。图23(b)示出了“Multiview_stream_configuration()”的结构示例(语法)。多视角流配置信息(multiview_stream_configuration_info())被插入其中(参照图14)。
如上所述的图12中示出的作为标识信息的多视角流配置描述符(multiview_stream_configuration_descriptor(多视角_流_配置_描述符))被插入传输流TS的层中，例如，在PMT之下，或在EIT之下等等。换句话说，以事件单位或者在静态或动态的使用情况下在最佳位置放置该描述符。
图24示出了当发送立体(3D)图像时的传输流TS的配置示例。此外，在该配置示例中，为了简化附图，未示出视差数据、音频、图形等等。该配置示例示出了在传输流TS中包括三个视频流的情况。换句话说，传输流TS包括通过将中央视角、左端视角和右端视角的各个图像数据项编码成单个图片而获得的三个视频流。此外，该配置示例示出了视角数量为5的情况。
图24的配置示例包括中央视角的图像数据VC’被编码成单个图片的视频流的PES数据包“视频PES1(video PES1)”。被插入到视频流的用户数据区域中的多视角流配置信息表示：由“view_count”所表示的视角数量为5。
此外，在该信息中，存在“single_view_es_flag＝1”，其表示仅单个图片的数据被编码在视频流的单个访问单元中。此外，在该信息中，存在“View_interleaving_flag＝0”，其表示两个视角的图像数据未经过交错处理并且未被编码成视频流中的单个图片的数据。此外，存在“view_allocation＝0000”，其表示在视频流中包括的图像数据是中央视角的图像数据。
此外，图24的配置示例包括视频流的PES数据包“视频PES2(video PES2)”，其中，左端视角的图像数据VL’被编码为单个图片。被插入视频流的用户数据区域中的多视角流配置信息表示“View_count”所表示的视角数量为5。
此外，在该信息中，存在“single_view_es_flag＝1”，其表示仅单个图片的数据被编码在视频流的单个访问单元中。此外，在该信息中，存在“View_interleaving_flag＝0”，其表示两个视角的图像数据未经过交错处理并且未被编码成视频流中的单个图片的数据。此外，存在“view_allocation＝0011”，其表示在视频流中包括的图像数据是挨着中央的第二左视角(即，左端视角)的图像数据。
此外，图24的配置示例包括视频流的PES数据包“视频PES3(video PES3)”，其中，左端视角的图像数据VR’被编码成单个图片。被插入到视频流的用户数据区域中的多视角流配置信息表示“View_count”所表示的视角数量为5。
此外，在该信息中，存在“single_view_es_flag＝1”，其表示仅单个图片的数据被编码在视频流中的单个访问单元中。此外，在该信息中，存在“View_interleaving_flag＝0”，其表示两个视角的图像数据未经过交错处理并且未被编码成视频流中的单个图片的数据。此外，存在“view_allocation＝0100”，其表示在视频流中包括的图像数据是挨着中央的第二右视角(即，右端视角)的图像数据。
此外，传输流TS包括作为节目特定信息(Program Specific Information，PSI)的节目映射表(PMT)。PSI是用于描述在传输流中包括的每个原始流属于哪个节目的信息。此外，传输流包括作为用于执行事件单位的管理的业务信息(Serviced Information，SI)的事件信息表(Event Information Table，EIT)。
具有与每个原始流有关的信息的原始循环存在于PMT中。在该配置示例中，存在视频原始循环(视频ES循环)。在该原始循环中，针对每个流，放置如数据包标识符(PID)的信息，并且还放置用于描述与原始流有关的信息的描述符。
在该配置示例中，多视角流配置描述符(multiview_stream_configuration_descriptor)被插入在与每个视频流有关的PMT的视频原始循环(视频ES循环)之下。在该描述符中，存在“multiview_stream_checkflag＝1”，其表示在视频流的用户区域中存在作为视角配置信息的多视角流配置信息。此外，该描述符可以被插入EIT之下，如虚线所表示的那样。
此外，图25还示出了当发送立体(3D)图像时的传输流TS的配置示例。此外，同样在该配置示例中，为了简化附图，未示出视差数据、音频、图形等等。该配置示例示出了在传输流TS中包括两个视频流的情况。换句话说，传输流TS包括通过将中央视角的每个图像数据项编码成单个图片而获得的视频流。此外，传输流TS包括通过交错处理将左端视角的图像数据和右端视角的图像数据编码成单个图片而获得的视频流。此外，该配置示例还示出了视角数量为5的情况。
图25的配置示例包括中央视角的图像数据VC’被编码成单个图片的视频流的PES数据包“视频PES1(video PES1)”。在视频流的用户数据区域中插入的多视角流配置信息表示：“View_count”所表示的视角数量为5。
此外，在该信息中，存在“single_view_es_flag＝1”，其表示仅单个图片的数据被编码在视频流的单个访问单元中。此外，在该信息中，存在“View_interleaving_flag＝0”，其表示两个视角的图像数据未经过交错处理并且未被编码成视频流中的单个图片的数据。此外，存在“view_allocation＝0000”，其表示在视频流中包括的图像数据是中央视角的图像数据。
图25的配置示例包括左端视角的图像数据VL’和右端视角的图像数据VR’被编码成单个图片的视频流的PES数据包“视频PES2(video PES2)”。被插入到视频流的用户数据区域中的多视角流配置信息表示“View_count”所表示的视角数量为5。
此外，在该信息中，存在“single_view_es_flag＝1”，其表示仅单个图片的数据被编码在视频流的单个访问单元中。此外，在该信息中，存在“View_interleaving_flag＝1”，其表示两个视角的图像数据经过交错处理并且被编码成视频流中的单个图片的数据。此外，存在“view_pair_position_id＝000”，其表示位于两端的成对的两个视角。此外，存在“view_interleaving_type＝1”，其表示交错类型是左右类型。
此外，在该配置示例中，多视角流配置描述符(multiview_stream_configuration_descriptor)被插入在与每个视频流有关的PMT的视频原始循环(视频ES循环)之下。在该描述符中，存在“multiview_stream_checkflag＝1”，其表示在视频流的用户区域中存在作为视角配置信息的多视角流配置信息。此外，描述符可以被插入在EIT之下，如虚线所表示的那样。
此外，图26还示出了当发送立体(3D)图像时的传输流TS的配置示例。此外，同样在该配置示例中，为了简化附图，未示出视差数据、音频、图形等等。该配置示例示出了单个视频流被包括在传输流TS中的情况。换句话说，传输流TS包括以下视频流，该视频流包括通过将中央视角的图像数据项、左端视角的图像数据项和右端视角的图像数据项中的每个图像数据项编码成单个图片而获得的数据。此外，该配置示例还示出了视角数量为5的情况。
图26的配置示例包括单个视频流的PES数据包“视频PES1(video PES1)”。视频流包括以下数据，在该数据中，中央视角、左端视角和右端视角中的每个视角的图像数据被编码成单个访问单元中的单个图片的数据，并且存在与每个图片对应的用户数据区域。此外，多视角流配置信息被插入在每个用户数据区域中。
与通过对中央视角的图像数据进行编码而获得的图片数据对应的信息表示：“View_count”所表示的视角数量为5。此外，在该信息中，存在“single_view_es_flag＝0”，其表示多个图片的数据被编码在视频流中的单个访问单元中。此外，在该信息中，存在“View_interleaving_flag＝0”，其表示图片数据不是经过交错处理并被编码的两个视角的图像数据。此外，存在“view_allocation＝0000”，其表示在图片数据中包括的图像数据是中央视角的图像数据。
此外，与通过对左端视角的图像数据进行编码而获得的图片数据对应的信息表示：“View_count”所表示的视角数量为5。此外，在该信息中，存在“single_view_es_flag＝0”，其表示多个图片的数据被编码在视频流中的单个访问单元中。此外，在该信息中，存在“View_interleaving_flag＝0”，其表示该图片数据不是经过交错处理并被编码的两个视角的图像数据。此外，存在“view_allocation＝0011”，其表示在图片数据中包括的图像数据是挨着中央的第二左视角(即，左端视角)的图像数据。
此外，与通过对右端视角的图像数据进行编码而获得的图片数据对应的信息表示：“View_count”所表示的视角数量为5。此外，在该信息中，存在“single_view_es_flag＝0”，其表示多个图片的数据被编码在视频流中的单个访问单元中。此外，在该信息中，存在“View_interleaving_flag＝0”，其表示图片数据不是经过交错处理并被编码的两个视角的图像数据。此外，存在“view_allocation＝0100”，其表示在图片数据中包括的图像数据是挨着中央的第二右视角(即，右端视角)的图像数据。
此外，在该配置示例中，多视角流配置描述符(multiview_stream_configuration_descriptor)被插入在与单个视频流有关的PMT的视频原始循环(视频ES循环)之下。在该描述符中，存在“multiview_stream_checkflag＝1”，其表示在视频流的用户区域中存在作为视角配置信息的多视角流配置信息。此外，描述符可以被插入在EIT之下，如虚线所表示的那样。
如上所述，当发送立体(3D)图像时，图7中示出的发送数据生成单元110生成包括以下视频流的传输流TS，该视频流是通过对形成立体图像显示的多个视角中的至少左端视角和右端视角的图像数据以及位于左端和右端之间的中间视角的图像数据进行编码而获得的。因此，可以有效地发送用裸眼观看多个视角形成的立体图像的图像数据。
换句话说，由于不仅发送左端视角和右端视角的图像数据还发送中间视角的图像数据，视角之间的相对视差小，当对其他视角的图像数据进行插值时，易于对与精细部分的处理对应的遮蔽周围进行插值，从而可以改善再现图像的质量。此外，由于发送了左端视角和右端视角的图像数据，能够通过插值处理来生成未被发送的视角的图像数据，因此对于遮蔽的端点等的处理，易于保持高的图像质量。
此外，在图7中示出的发送数据生成单元110中，当发送立体(3D)图像时，需要将作为视角配置信息的多视角流配置信息(multiview_stream_configuration_info())插入视频流的层中。因此，接收方能够基于该视角配置信息来执行适当的有效的处理，从而用裸眼观看由多个视角的图像数据所形成的三维图像(立体图像)。
此外，在图7中示出的发送数据生成单元110中，多视角流配置描述符(multiview_stream_configuration_descriptor)被插入在传输流TS的层中。该描述符形成用于标识视角配置信息是否被插入视频流的层中的标识信息。接收方基于该标识信息能够容易地识别视角配置信息是否被插入在视频流的层中。因此，可以有效地从视频流的用户数据区域中提取视角配置信息。
此外，在图7中示出的发送数据生成单元110中，视差数据生成部116生成各个视角之间的视差数据，并且通过对视差数据进行编码而获得的视差流与视频流一起被包括在传输流TS中。因此，接收方基于所发送的视差数据能够容易地对未被发送的每个视角的图像数据进行插值和生成，而不必根据接收到的每个视角的图像数据来执行生成视差数据的处理。
(接收器的配置示例)
图27示出了接收器200的配置示例。接收器200包括CPU 201、闪存ROM 202、DRAM203、内部总线204、遥控接收单元(RC接收单元)205、遥控发送器(RC发送器)206。此外，接收器200包括天线端211、数字调谐器212、传输流缓冲器(TS缓冲器)213和解复用器214。
此外，接收器200包括编码缓冲器215-1、215-2和215-3、视频解码器216-1、216-2和216-3、解码缓冲器217-1、217-2和217-3以及缩放器218-1、218-2和218-3。此外，接收器200包括视角插值单元219和像素交错/叠加单元220。此外，接收器200包括编码缓冲器221、视差解码器222、视差缓冲器223和视差数据转换单元224。
此外，接收器200包括编码缓冲器225、图形解码器226、像素缓冲器227、缩放器228和图形偏移器(shifter)229。此外，接收器200包括编码缓冲器230、音频解码器231和声道混合单元232。
CPU 201控制接收器200的各个单元的操作。闪存ROM 202存储控制软件并保存数据。DRAM 203形成CPU 201的工作区。CPU 201将从闪存ROM 202读取的软件或数据在DRAM203上展开，并启动该软件以控制接收器200的各个单元。RC接收单元205接收从RC发送器206发送的遥控信号(遥控码)以提供至CPU 201。CPU 201基于该遥控码控制接收器200的各个单元。CPU 201、闪存ROM 202和DRAM 203连接到内部总线204。
在下文中，首先将描述接收立体(3D)图像的情况。天线端211是接收天线(未示出)接收到的电视广播信号被输入至的端子。数字调谐器212对输入到天线端211的电视广播信号进行处理，并且输出与用户所选择的频道相对应的预定传输流(位流数据)TS。传输流缓冲器(TS缓冲器)213临时累积从数字调谐器212输出的传输流TS。
传输流TS包括通过对用于立体图像显示的多个视角中的左端视角和右端视角的图像数据以及作为位于左端和右端之间的中间视角的中央视角的图像数据进行编码而获得的视频流。
在该情况下，传输流TS可以包括三个、两个或一个视频流(参照图24、25和26)。此处，为了便于描述，假设传输流TS包括通过将中央视角、左端视角和右端视角中的每个视角的图像数据编码成单个图片而获得的三个视频流，来进行描述。
在传输流TS中，如上所述，多视角流配置描述符(multiview_stream_configuration_descriptor)被插入在PMT之下或EIT之下等等。描述符是用于标识视角配置信息(即，多视角流配置信息，multiview_stream_configuration_info())是否被插入视频流的层中的标识信息。
解复用器214从临时累积在TS缓冲器213中的传输流TS中提取音频、图形、视差和视频的每个原始流。此外，解复用器214从传输流TS中提取上述多视角流配置描述符以发送到CPU 201。CPU 201基于描述符的1位字段的“multiview_stream_checkflag(多视角_流_检查标记)”，能够容易地确定视角配置信息是否被插入视频流的层中。
编码缓冲器215-1、215-2和215-3分别临时累积解复用器214提取的通过将中央视角、左端视角和右端视角中的每个视角的图像数据编码成单个图片而获得的视频流。视频解码器216-1、216-2和216-3在CPU 201的控制下，分别对在编码缓冲器215-1、215-2和215-3中存储的视频流执行解码处理，以获取中央视角、左端视角和右端视角中的每个视角的图像数据。
此处，视频解码器216-1利用解压缩数据缓冲器执行解码处理，以获取中央视角(center view)的图像数据。此外，视频解码器216-2利用解压缩数据缓冲器执行解码处理以获取左端视角(左视角)的图像数据。此外，视频解码器216-2利用解压缩数据缓冲器执行解码处理以获取右端视角(右视角)的图像数据。此外，在两个或更多个视角被交错并被编码的情况下，以流单位来分配编码缓冲器、视频解码器、解码缓冲器和缩放器。
每个视频解码器提取多视角流配置信息(multiview_stream_configuration_info())以发送到CPU 201，多视角流配置信息是视角配置信息并且被插入视频流的序列报头或图片报头的用户数据区域等中。CPU 201基于该视角配置信息来执行适当的有效的处理，从而用裸眼观看由多个视角的图像数据形成的三维图像(立体图像)。
换句话说，CPU 201基于视角配置信息，以节目单位、场景单位、图片组单位或图片单位控制解复用器214、视频解码器216-1、216-2和216-3、缩放器218-1、218-2和218-3、视角插值单元219等等的操作。例如，CPU 201基于4位字段的“view_count”能够辨认形成3D业务的视角数量。
此外，例如，CPU 201基于1位字段的“single_view_es_flag(单个_视角_es_标记)”能够识别多个图片的数据是否被编码在视频流的单个访问单元中。此外，例如，CPU201基于1位字段的“view_interleaving_flag”能够识别是否两个视角的图像数据经过交错处理并被编码成视频流中的单个图片的数据。
此外，例如，当两个视角的图像数据未经过交错处理并且未被编码成视频流中的单个图片的数据时，CPU 201基于4位的“view_allocation”能够辨认哪个视角的图像数据是包括在视频流中的图像数据。
此外，例如，当两个视角的图像数据经过交错处理并且被编码成视频流中的单个图片的数据时，CPU 201基于3位字段的“view_pair_position_id(视角_对_位置_id)”能够辨认所有视角中的两两视角的相对视角位置。此外，此时，CPU 201基于1位字段的“view_interleaving_type”能够了解到交错类型。
此外，例如，CPU 201基于4位字段的“indication_of_picture_size_scaling_horizontal”和4位字段的“indication_of_picture_size_scaling_vertical”能够辨认解码图像相对于全HD的水平像素比率和竖直像素比率。
解码缓冲器217-1、217-2和217-3分别临时累积由视频解码器216-1、216-1和216-3获取的各个视角的图像数据项。缩放器218-1、218-2和218-3分别将从解码缓冲器217-1、217-2和217-3输出的各个视角的图像数据项的输出分辨率调整到预定分辨率。
在多视角流配置信息中，存在4位比特的表示解码图像的水平像素比率的“indication_of_picture_size_scaling_horizontal”以及4位比特的表示解码图像的竖直像素比率的“indication_of_picture_size_scaling_vertical”。CPU 201基于像素比率信息来控制缩放器218-1、218-2和218-3中的缩放比率以获得预定分辨率。
在该情况下，CPU 201基于解码图像数据的分辨率、监视器的分辨率和视角数量来计算用于在解码缓冲器中累积的图像数据的缩放比率，以指示缩放器218-1、218-2和2183。图28示出了缩放比率的计算示例。
例如，当解码图像数据的分辨率是960*1080、监视器的分辨率是1920*1080并且要显示的视角数量为4时，缩放比率被设置为1/2。此外，例如，当解码图像数据的分辨率为1920*1080、监视器的分辨率为1920*1080并且要显示的视角数量为4时，缩放比率被设置为1/4。此外，例如，当解码图像数据的分辨率为1920*2160、监视器的分辨率为3840*2160并且视角数量为8时，缩放比率被设置为1/4。
编码缓冲器221临时累积解复用器214所提取的视差流。视差解码器222执行上述发送数据生成单元110的视差编码器117(参照图7)的逆处理。换句话说，视差解码器222对存储在编码缓冲器221中的视差流执行解码处理以获得视差数据。视差数据包括中央视角和左端视角之间的视差数据以及中央视角和右端视角之间的视差数据。此外，该视差数据是像素单位或块单位的视差数据。视差缓冲器223临时累积视差解码器222所获取的视差数据。
视差数据转换单元224基于视差缓冲器223中累积的视差数据来生成与缩放图像数据的尺寸相符的像素单位的视差数据。例如，在发送块单位的视差数据的情况下，该数据被转换为像素单位的视差数据(参照图11)。此外，例如，在发送像素单位的视差数据但是该像素单位的视差数据不符合缩放图像数据的尺寸的情况下，适当地缩放该数据。
视角插值单元219基于视差数据转换单元224所获得的各个视角之间的视差数据，根据缩放后的中央视角、左端视角和右端视角中的每个视角的图像数据，插值并生成预定数量的未被发送的视角的图像数据。换句话说，视角插值单元219插值并生成位于中央视角和左端视角之间的每个视角的图像数据以输出该图像数据。此外，视角插值单元219插值并生成位于中央视角和右端视角之间的每个视角的图像数据以输出该图像数据。
图29示意性地示出了视角插值单元219中的插值和生成处理的示例。在示出的示例中，例如，当前视角对应于上述的中央视角，目标视角1对应于上述的左端视角，目标视角2对应于上述的右端视角。
以相同的方式执行位于当前视角和目标视角1之间的视角的插值和生成以及位于当前视角和目标视角2之间的视角的插值和生成。在下文中，将描述位于当前视角和目标视角1之间的视角的插值和生成。
按照如下那样来分配位于当前视角和目标视角1之间并且被插值和生成的视角的像素。在该情况下，使用双向视差数据，该双向视差数据包括表示目标视角1距当前视角的视差数据以及表示当前视角距目标视角1的视差数据。首先，通过偏移作为矢量的视差数据(参照从当前视角指向目标视角1的实线箭头和虚线箭头以及黑圈)，当前视角的像素被分配作为被插值和生成的视角像素。
此时，在目标视角1中遮蔽的目标的部分中，如下地分配像素。换句话说，通过偏移作为矢量的视差数据(参照从目标视角1指向当前视角的点虚线箭头以及白圈)，目标视角1的像素被分配作为插值和生成的视角的像素。
这样，由于提供了双向视差数据，因而在目标被遮蔽的部分中，被视作背景的视角的像素可以被分配给插值和生成的视角的像素。此外，在以双向方式不能处理的遮蔽区域中，通过后期处理来分配值。
此外，所示出的箭头的尖端重叠所在的目标重叠部分是目标视角1中由于视差重叠而导致的偏移的部分。在该部分中，根据视差数据的值确定并选择两个视差中哪个与当前视角的前景对应。在该情况下，主要选择小的值。
再次参照图27，编码缓冲器225临时累积解复用器214提取的图形流。图形解码器226执行上述的发送数据生成单元110的图形编码器119(参照图7)的逆处理。换句话说，图形解码器226对存储在编码缓冲器225中的图形流执行解码处理以获得解码的图形数据(包括字幕数据)。此外，图形解码器226基于图形数据来生成叠加在视角(图像)上的图形的位图数据。
像素缓冲器227临时累积图形解码器226所生成的图形的位图数据。缩放器228将像素缓冲器227中累积的图形的位图的尺寸调整为对应于经缩放的图像数据的尺寸。图形偏移器229基于视差数据转换单元224所获得的视差数据，对已经调节了尺寸的图形的位图数据执行偏移处理。此外，图形偏移器229生成图形的N个位图数据项，这些数据项分别被叠加在从视角插值单元219输出的N个视角(视角1、视角2、……、和视角N)的图像数据项上。
像素交错/叠加单元220将图形的分别对应的位图数据项叠加在从视角内插单元219输出的N个视角(视角1、视角2、……、和视角N)的图像数据项上。此外，像素交错/叠加单元220对N个视角(视角1、视角2、……、和视角N)的图像数据执行像素交错处理以生成显示图像数据，从而用裸眼观看三维图像(立体图像)。
编码缓冲器230临时累积解复用器214提取的音频流。音频解码器231执行上述发送数据生成单元110的音频编码器121(参照图7)的逆处理。换句话说，音频解码器231对在解码缓冲器230中存储的音频流执行解码处理以获得解码音频数据。声道混合单元232关于音频解码器231获得的音频数据，生成并输出每个声道的音频数据，以实现例如5.1声道环绕。
此外，基于PTS执行解码缓冲器217-1、217-2和217-3的每个视角的图像数据的读取、视差缓冲器223的视差数据的读取以及像素缓冲器227的图形的位图数据的读取，因此执行同步发送。
接下来，将描述接收二维(2D)图像的情况。此外，在与接收立体(3D)图像的上述情况相同的情况下，将适当地省略其描述。传输流缓冲器(TS缓冲器)213临时累积从数字调谐器212输出的传输流TS。传输流TS包括通过对二维图像数据进行编码而获得的视频流。
当视角配置信息(即，多视角流配置信息，multiview_stream_configuration_info())被插入视频流的层中时，如上所述，在传输流缓冲器(TS缓冲器)213中，多视角流配置描述符(multiview_stream_configuration_descriptor)被插入在PMT之下、或在EIT之下等等。
解复用器214从临时累积在TS缓冲器213中的传输流TS中提取视频、图形和音频的各原始流。此外，解复用器214从传输流TS中提取上述多视角流配置描述符以发送到CPU201。CPU 201基于描述符的1位字段的“multiview_stream_configuration_descriptor”可以容易地确定视角配置信息是否被插入视频流的层中。
编码缓冲器215-1临时累积解复用器214提取的通过对二维图像数据进行编码而获得的视频流。视频解码器216-1在CPU 201的控制下对存储在编码缓冲器215-1中的视频流执行解码处理以获取二维图像数据。解码缓冲器217-1临时累积视频解码器216-1获取的二维图像数据。
缩放器218-1将从解码缓冲器217-1输出的二维图像数据的输出分辨率调整为预定的分辨率。视角插值单元219将缩放器218-1获得的经缩放的二维图像数据按原样输出，例如，作为视角1的图像数据。在该情况下，视角插值单元219仅输出二维图像数据。
在该情况下，编码缓冲器215-2和215-3、视频编码器216-2和216-3、解码缓冲器217-2和217-3以及缩放器218-2和218-3处于不工作状态。此外，解复用器214不提取视差原始流，并且编码缓冲器221、视差解码器222、视差缓冲器223和视差数据转换单元224处于不工作状态。
图形偏移器220将缩放器228获得的尺寸已被调整的图形的位图数据按照原样输出。像素交错/叠加单元220将从图形偏移器229输出的图形的位图数据叠加在从视角插值单元219输出的二维图像数据上，以生成用于显示二维图像的图像数据。
省略详细描述，音频系统与发送立体(3D)图像的情况相同。
将简略描述接收器200的操作。首先，将描述接收立体(3D)图像的操作。输入到天线端子211的电视广播信号被提供至数字调谐器212。数字调谐器212对电视广播信号进行处理以输出与用户所选的频道对应的预定传输流TS。传输流TS被临时累积在TS缓冲器213中。
传输流TS包括通过对用于立体图像显示的多个视角中的左端视角和右端视角的图像数据以及作为位于左端和右端之间的中间视角的中央视角的图像数据进行编码而获得的视频流。
解复用器214从临时累积在TS缓冲器213中的传输流TS中提取视频、视差、图形和音频的各原始流。此外，解复用器214从传输流TS中提取作为标识信息的多视角流配置描述符以发送到CPU 201。CPU 201基于描述符的1位字段的“multiview_stream_checkflag”能够容易地确定视角配置信息是否被插入视频流的层中。
解复用器214提取的通过对中央视角、左端视角和右端视角中的每个视角的图像数据进行编码而获得的视频流被提供到编码缓冲器215-1、215-2和215-3，以被临时累积。此外，视频解码器216-1、216-2和216-3在CPU 201的控制下分别对存储在编码缓冲器215-1、215-2和215-3中的视频流执行解码处理，以获取中央视角、左端视角和右端视角中的每个视角的图像数据。
此外，每个视频解码器提取作为视角配置信息的多视角流配置信息(multiview_stream_configuration_info())以发送到CPU 201，多视角流配置信息被插入视频流的序列报头或图片报头的用户数据区域等中。CPU 201基于该视角配置信息控制每个单元的操作，以在接收到立体(3D)图像时(即，当执行立体(3D)显示处理时)执行操作。
视频解码器216-1、216-2和216-3所获取的各个视角的图像数据项被提供到解码缓冲器217-1、217-2和217-3以临时累积。缩放器218-1、218-2和218-3分别将从解码缓冲器217-1、217-2和217-3输出的各个视角的图像数据项的输出分辨率调整到预定分辨率。
此外，解复用器214提取的视差流被提供到编码缓冲器221以临时累积。视差解码器222对在编码缓冲器221中存储的视差流执行解码处理以获得视差数据。视差数据包括中央视角和左端视角之间的视差数据以及中央视角和右端视角之间的视差数据。此外，该视差数据是像素单位或块单位的视差数据。
视差解码器222所获取的视差输出被提供到视差缓冲器223以临时累积。视差数据转换单元224基于在视差缓冲器223中累积的视差数据来生成与经缩放的图像数据的尺寸相符的像素单位的视差数据。在该情况下，当发送块单位的视差数据时，该数据被转换成像素单位的视差数据。此外，在该情况下，当发送像素单位的视差数据但是该视差数据不符合经缩放的图像数据的尺寸时，适当地缩放该数据。
视角插值单元219基于视差数据转换单元224获得的各个视角之间的视差数据，根据缩放后的中央视角、左端视角和右端视角中的每个视角的图像数据，插值并生成未发送的预定数量的视角的图像数据。由视角插值单元219获得用裸眼观看三维图像(立体图像)的N个视角(视角1、视角2、……、和视角N)的图像数据。此外，还包括中央视角、左端视角和右端视角中的每个视角的图像数据。
解复用器214提取的图形流被提供到编码缓冲器225以临时累积。图形解码器226对存储在编码缓冲器225中的图形流执行解码处理以获得解码图形数据(包括字幕数据)。此外，图形解码器226基于图形数据来生成叠加在视角(图像)上的图形的位图数据。
图形解码器226所生成的图形的位图数据被提供到像素缓冲器227以临时累积。缩放器228将累积在像素缓冲器227中的图形的位图数据的尺寸调整为与经缩放的图像数据的尺寸对应。
图形偏移器229基于视差数据转换单元224获得的视差数据，对已经调整了尺寸的图形的位图数据执行偏移处理。此外，图形偏移器229生成图形的N个位图数据项以提供到像素交错/叠加单元220，这N个位图数据项分别被叠加在从视角插值单元219输出的N个视角(视角1、视角2、……、和视角N)的图像数据项上。
像素交错/叠加单元220将分别对应的图形位图数据项叠加在N个视角(视角1、视角2、……、和视角N)的图像数据项上。此外，像素交错/叠加单元220对N个视角(视角1、视角2、……、和视角N)的图像数据执行像素交错处理，以生成用裸眼观看三维图像(立体图像)的显示图像数据。显示图像数据被提供给显示器，从而显示图像，以用裸眼观看三维图像(立体图像)。
此外，解复用器214所提取的音频流被提供给编码缓冲器230以临时累积。音频解码器231对存储在编码缓冲器230中的音频流执行解码处理以获得解码音频数据。该音频数据被提供给声道混合单元232。声道混合单元232关于该音频数据生成每个声道的音频数据，以实现例如5.1声道环绕。该音频数据被提供给例如扬声器，并且输出与图像显示相符的声音。
接下来，将描述接收二维(2D)图像的操作。被输入至天线端子211的电视广播信号被提供给数字调谐器212。数字调谐器212对电视广播信号进行处理，以输出与用户所选择的频道对应的预定传输流TS。传输流TS被临时累积在TS缓冲器213中。传输流TS包括通过对二维图像数据进行编码而获得的音频流。
解复用器214从临时累积在TS缓冲器213中的传输流TS中提取视频、图形和音频的各原始流。此外，如果插入了标识信息，则解复用器214从传输流TS中提取作为标识信息的多视角流配置描述符以发送到CPU 201。CPU 201基于描述符中的1位字段的“multiview_stream_check flag”能够容易地确定视角配置信息是否被插入视频流的层中。
解复用器214提取的通过对二维图像数据进行编码而获得的视频流被提供给编码缓冲器215-1以临时累积。此外，视频解码器216-1在CPU 201的控制下对存储在编码缓冲器215-1中的视频流执行解码处理以获取二维图像数据。
此外，如果插入了视频配置信息，则在视频解码器216-1中，提取被插入视频流的序列报头或图片报头的用户数据区域等中的并作为视角配置信息的多视角流配置信息(multiview_stream_configuration_info())并发送至CPU 201。CPU 201基于所提取的视角配置信息或基于未提取到视角配置信息这一事实，控制每个单元的操作，以在接收到二维(2D)图像时(即在执行二维(2D)显示处理时)执行操作。
视频解码器216-1所获取的二维图像数据被提供给解码缓冲器217-1以临时累积。缩放器218-1将从解码缓冲器217-1输出的二维图像数据的输出分辨率调整为预定分辨率。经缩放的二维图像数据从视角插值单元219中按照原样输出，例如，作为视角1的图像数据。
解复用器214所提取的图形流被提供给编码缓冲器225以临时累积。图形解码器226对存储在编码缓冲器225中的图形流执行解码处理以获得解码图形数据(包括字幕数据)。此外，图形解码器226基于图形数据来生成叠加在视角(图像)上的图形的位图数据。
图形解码器226所生成的图形的位图数据被提供给像素缓冲器227以临时累积。缩放器228将累积在像素缓冲器227中的图形的位图数据的尺寸调整为与经缩放的图像数据的尺寸对应。缩放器228所获得的已经调整了尺寸的图形的位图数据被从图形偏移器229中按照原样输出。
像素交错/叠加单元220将从图形偏移器229输出的图形的位图数据叠加在从视角插值单元219输出的二维图像数据上，以生成二维图像的显示图像数据。显示图像数据被提供给显示器，从而显示二维图像。
[3D时段和2D时段中的信令]
接下来，将描述图27中示出的接收器200中的立体(3D)显示处理和二维(2D)显示处理之间的操作模式切换控制。通过CPU 201来执行该切换。当接收立体(3D)图像时，视频解码器216-1、216-2和216-3中的每个所提取的多视角流配置信息被提供给CPU 201。此外，如果插入了多视角流配置信息，则当接收二维(2D)图像时，视频解码器216-1所提取的多视角流配置信息被提供给CPU 201。CPU 201基于该信息的存在或不存在或者基于该信息的内容，控制在立体(3D)显示处理和二维(2D)显示处理之间的切换。
图30和31示出了3D时段(当接收立体图像时)和2D时段(当接收二维图像时)交替相继的情况下的接收到的流的示例，其中，每个时段例如是节目单位或场景单位。在3D时段中，存在作为基本视频流的中间视角的视频流ES1，也存在作为附加视频流的左端视角和右端视角的两个视频流ES2和ES3。在2D时段中，仅存在作为基本视频流的视频流ES1。
图30的示例示出了在3D时段和2D时段中都以图片单位插入包括多视角流配置信息的SEI消息的情况。此外，图31的示例示出了在每个时段中以场景单位或图片组单位(GOP单位)插入包括多视角流配置信息的SEI消息的情况。
在3D时段中插入的SEI消息中，存在“3D_flag＝1”，其表示3D模式(立体图像发送模式)。此外，在2D时段中插入的SEI消息中，存在“3D_flag＝0”，其表示非3D模式，即2D模式(二维图像发送模式)。此外，SEI消息不仅被插入视频流ES1中，还被插入视频流ES2和ES3中，但是为了简化附图而未示出。
图32的流程出示出了CPU 201中的操作模式切换控制的处理过程的示例。该示例是编码方法是AVC或MVC的情况的示例。如上所述，多视角流配置信息被插入访问单元的“SEIs”部分中作为“多视角流配置SEI消息”(参照图21和14)。在该情况下，当接收立体(3D)图像时，接收MVC基本视角流(基本视频流)和非基本视角流(附加视频流)，而当接收二维(2D)图像时，接收AVC(2D)流(基本视频流)。
CPU 201针对每个图片帧根据该流程图执行控制。然而，在不是以图片单位插入SEI消息的情况下，例如，以GOP单位插入SEI消息(参照图31)，CPU 201保持当前的SEI信息，直到当前的GOP的SEI信息被下一GOP的SEI消息所替代。
首先，CPU 201开始步骤ST1中的处理，然后前进到步骤ST2中的处理。在步骤ST2中，CPU 201确定SEI(“多视角流配置SEI消息”)是否被插入基本视频流中。当插入了SEI消息时，在步骤ST3中，CPU 201确定SEI中的信息是否表示3D模式，即，“3D_flag＝1”。
当SEI中的信息表示3D模式(即，接收立体(3D)图像时)，CPU 201前进到步骤ST4中的处理。在步骤ST4中，CPU 201管理基本视频流和附加视频流的各个输入缓冲器(编码缓冲器)，并且在步骤ST5中，通过利用解码器(视频解码器)分别对基本视频流和附加视频流进行解码。此外，在步骤ST6中，CPU 201执行控制以使得接收器200执行其他立体(3D)显示处理。
此外，当在步骤ST2中未插入SEI时或者当SEI中的信息不表示3D模式时(即，在步骤ST3中接收到二维(2D)图像)，CPU 201前进到步骤ST7中的处理。CPU 201前进到步骤ST7中的处理。在步骤ST7中，CPU 201管理基本视频流的输入缓冲器(编码缓冲器)，并且在步骤ST8中，利用解码器(视频解码器)对基本视频流进行解码。此外，在步骤ST9中，CPU 201执行控制以使得接收器200执行其他二维(2D)显示处理。
如上所述，在图27所示的接收器200中，基于包括多视角流配置信息的SEI消息的存在或不存在或者基于其内容，控制立体(3D)显示处理和二维(2D)显示处理之间的切换。因此，可以适当地、精确地处理传送内容中的动态变化，从而接收正确的流。
图33示出了“Stream_Type＝0x1B”和“PID＝01”的AVC基本视角的基本视频ES1被连续地包括在传输流TS中并且“Stream_Type＝0x20”、“PID＝10”和“PID＝11”的MVC附加视频流ES2和ES3被间歇地包括在传输流TS中的情况的示例。在该情况下，多视角流配置SEI消息被插入流ES1中。
SEI消息在时段tn-1和tn+1中出现，并且存在“3D_flag＝1”，其表示3D模式。为此，在这些时段中，接收器200执行立体(3D)显示处理。换句话所，还提取流ES2和ES3以及流ES1并对其进行解码，从而执行立体(3D)显示。换句话说，在时段tn中，存在SEI消息，但是存在“3D_flag＝0”，其表示2D模式。为此，在该时段中，接收器200执行二维(2D)显示处理。换句话说，仅提取流ES1并对其进行解码，从而执行二维(2D)显示。
图34示出了3D时段(3D模式时段)和2D时段(2D模式时段)交替相继并且没有用于标识模式的辅助信息(多视角流配置SEI消息)的情况的示例。时段T1和T3表示3D时段，时段T2表示2D时段。每个时段代表例如节目单位或场景单位。
在3D时段中，存在“Stream_Type＝0x1B”的MVC基本视角的基本视频流，还存在“Stream_Type＝0x20”的MVC非基本视角的附加视频流。此外，在2D时段中，存在“Stream_Type＝0x1B”的AVC流。此外，基本视频流具有以下配置，SPS是头部，连续放置预定数量的访问单元(AU)。此外，附加视频流具有以下配置，子集SPS(SSSPS)是头部，并且连续放置预定数量的访问单元(AU)。此外，由“PPS、子流SEI和编码宏块条”构成访问单元(AU)。
在没有用于标识模式的辅助信息的情况下，当在预定时段期间数据未被输入到接收器的输入缓冲器时，接收器辨认出3D时段被切换到2D时段。然而，在时间点T1不能辨认出附加视频流的数据未被输入到输入缓冲器的原因是在发送或编码期间发生了错误或者执行了到2D时段的切换。因此，接收器需要时间延迟才能切换到2D处理模式。
图35示出了3D时段和2D时段交替相继并且存在用于标识模式的辅助信息(多视角流配置SEI消息)的情况的示例。时段T1和T3表示3D时段，时段T2表示2D时段。每个时段代表例如节目单位或场景单位。
在3D时段中，存在“Stream_Type＝0x1B”的MVC基本视角的基本视频流，还存在“Stream_Type＝0x20”的MVC非基本视角的附加视频流。此外，在2D时段中，存在“Stream_Type＝0x1B”的AVC流。此外，基本视频流具有以下配置，“SPS”是头部，并且连续放置预定数量的访问单元(AU)。此外，附加视频流具有以下配置，“SSSPS”是头部，并且连续放置预订量数的访问单元(AU)。此外，由“PPS、子流SEI和编码宏块条”构成访问单元(AU)。
针对每个访问单元(AU)插入用于标识模式的辅助信息(多视角流配置SEI消息)。在3D时段中插入到访问单元中的辅助信息由“3D”表示，其被视作“3D_flag＝1”并且表示3D模式(立体图像发送模式)。另一方面，在2D时段中插入访问单元中的辅助信息由“2D”表示，其被视作“3D_flag＝0”并且表示2D模式(二维图像发送模式)。
如上所述，在存在用于标识模式的辅助信息(多视角流配置SEI消息)的情况下，接收器检查辅助信息的要素“3D_flag”，并且能够立即辨认出该要素是表示3D模式还是2D模式，并因此可以迅速地执行解码以及各显示处理之间的切换。在3D时段被切换到2D时段的情况下，当被插入第一访问单元的辅助信息的要素“3D_flag”表示2D模式时，接收器能够在辨别定时T2确定3D时段被切换到2D时段，并因此能够迅速地执行从3D到2D的模式切换。
此外，在图27中示出的接收器200中，当接收立体(3D)图像时，在用于立体图像显示的多个视角中至少接收左端视角和右端视角的图像数据以及位于左端和右端之间的中间视角的图像数据。此外，在该接收器200中，基于视差数据通过视差处理获得其他视角。因此，可以用裸眼很好地观看由多视角形成的立体图像。
换句话说，不仅接收左端视角和右端视角的图像数据还接收中央视角的图像数据。因此，视角之间的相对视差小，当对未被发送的视角的图像数据进行插值时，容易根据精细部分的处理对遮蔽的周围进行插值，从而可以改善在再现图像的质量。此外，由于接收左端视角和右端视角的图像数据，通过插值处理能够生成未被发送的视角的图像数据，因此关于遮蔽的端点等的处理，容易保持高的图像质量。
此外，图27中示出的接收器200示出了通过对视差数据进行编码而获得的视差流被包括在传输流TS中的情况的配置示例。在视差流未被包括在传输流TS中的情况下，根据每个视角的接收到的图像数据来生成视差数据，并使用该视差数据。
图36示出了该情况下的接收器200A的配置示例。在图36中，与图27对应的部分被给予了相同的标号，并且将省略其详细描述。接收器200A包括视差数据生成单元233。视差数据生成单元233基于中央视角、左端视角和右端视角中的每个视角的经缩放的图像数据来生成视差数据。
尽管省略了详细描述，但是在该情况下生成视差数据的方法与上述发送数据生成单元110的视差数据生成部分116中的生成视差数据的方法相同。此外，视差数据生成单元233生成并输出的视差数据与图27中示出的接收器200的视差数据转换单元224所生成的像素单位的视差数据相同。视差数据生成单元233所生成的视差数据被提供至视角插值单元219并且还被提供到图形偏移器229以供其使用。
此外，在图36中示出的接收器200A中，省略了图27中示出的接收器200的编码缓冲器221、视差解码器222、视差缓冲器223和视差数据转换单元224。图36中示出的接收器200A的其他配置与图27中示出的接收器200的配置相同。
[用于标识模式的辅助信息的另一示例]
在上述描述中，已经描述了多视角流配置SEI消息被用作用于标识模式的辅助信息并且接收器基于所设置的内容以帧精度来辨别是3D时段还是2D时段的示例。作为用于标识模式的辅助信息，可以使用现存的多视角视角位置SEI消息(multiview_view_positionSEI message)。如果插入该多视角视角位置SEI消息，则发送方需要将该消息插入帧内图片中，在该帧内图片中，对整个视频序列执行帧内刷新(进行压缩缓冲器为空vacant))。
图37示出了在SEI消息中包括的多视角位置(Multiview view position())的结构示例(语法)。字段“num_views_minus1”表示从视角数量中取回的值(0至1023)。字段“view_position[i]”表示在显示各视角时的相对位置关系。换句话说，利用从0起顺序增大的值，该字段表示当显示每个视角时从左视角到右视角的顺序相对位置。
上述的在图7中示出的发送数据生成单元110在3D模式(立体图像发送模式)下将多视角视角位置SEI消息插入视频流(基本视频流)中，该视频流是通过对中间视角的图像数据进行编码获得的。多视角视角位置SEI消息构成表示3D模式的标识信息。在该情况下，至少以节目单位、场景单位、图片组单元或图片单位插入该消息。
图38(a)示出了图片组(GOP)的引导访问单元，图38(b)示出了GOP的除了引导访问单元之外的访问单元。在以GOP单位插入多视角视角位置SEI的情况下，“multiview_view_position SEI message”仅被插入GOP的引导访问单元中。
如果这被应用于包括左端(Left)视角、中央(Center)视角和右端(Right)视角在内的三个视角，则在多视角视角位置SEI消息中包括的多视角视角位置(Multiview viewposition())(参照图37)中，存在“view_position[0]＝1”，其表示作为基本视频流的基本视角视频流是通过对中央视角的图像数据进行编码而获得的视频流。
此外，存在“view_position[1]＝0”，其表示作为附加视频流的非基本视角第一视频流是通过对左端视角的图像数据进行编码而获得的视频流。此外，存在“view_position[2]＝2”，其表示作为附加视频流的非基本视角第二视频流是通过对右端视角的图像数据进行编码而获得的视频流。
将描述在利用多视角视角位置SEI消息(multiview_view_position message)的情况下在图27中示出的接收器200中在立体(3D)显示处理和二维(2D)显示处理之间的操作模式切换控制。由CPU 201执行该切换。当接收立体(3D)图像时，由视频解码器216-1提取多视角视角位置SEI消息并将其提供到CPU 201。然而，当接收二维(2D)图像时，视频解码器216-1未提取到SEI消息，因此未将其提供至CPU 201。CPU 201基于存在或不存在SEI消息来控制立体(3D)显示处理和二维(2D)显示处理之间的切换。
图39和40示出了3D时段(当接收立体图像时)和2D时段(当接收二维图像时)交替相继的情况下的接收到的流的示例。每个时段是例如节目单位或场景单位。在3D时段中，存在作为基本视频流的中间视角的视频流ES1，还存在作为附加视频流的左端视角和右端视角的两个视频流ES2和ES3。在2D时段中，仅存在作为基本视频流的视频流ES1。
图39的示例示出了在3D时段中以图片单位插入多视角视角位置SEI消息的情况。此外，图40的示例示出了在3D时段中以场景单位或图片组单元(GOP单位)插入多视角视角位置SEI的情况。
图41的流程图示出了CPU 201中的操作模式切换控制的处理过程的示例。CPU 201针对每个帧，根据该流程图执行控制。然而，在不以图片单位插入SEI消息的情况下，例如，以GOP单位插入SEI消息(参照图40)，CPU 201保持当前的SEI信息，直到当前GOP的SEI信息被下一GOP的SEI信息所替代。
首先，CPU 201开始步骤ST11中的处理，然后前进到步骤ST12中的处理。在步骤ST12中，CPU 201确定在基本视频流中是否插入了SEI(“多视角位置SEI消息”)。当插入了SEI消息时，CPU 201前进到步骤ST13中的处理。换句话说，当接收到立体(3D)图像时，SEI被插入基本视频流中时，CPU 201前进到步骤ST13中的处理。
在步骤ST13中，CPU 201管理基本视频流和附加视频流的相应输入缓冲器(编码缓冲器)，并且在步骤ST14中，通过利用解码器(视频解码器)分别对基本视频流和附加视频流进行解码。此外，在步骤ST15中，CPU 201执行控制以使得接收器200执行其他立体(3D)显示处理。
在该情况下，根据SEI的要素所指定的定义来处理未被插入多视角视角位置SEI的视频流(附加视频流)。换句话说，在该示例中，当显示每个视角时，根据“view_position[i](视角_位置[i])”所指定的相对位置关系来处理每个附加视频流，从适当地获取每个视角的图像数据。
此外，当在步骤ST12中未插入SEI(“multiview_view_position SEI message(多视角_视角_位置SEI消息)”)时，CPU 201前进到步骤ST16中的处理。换句话说，由于当接收二维(2D)图像时SEI未被插入基本视频流中，CPU 201前进到步骤ST16中的处理。在步骤ST16中，CPU 201管理基本视频流的输入缓冲器(编码缓冲器)，并且在步骤ST17中，通过利用解码器(视频解码器)对基本视频流进行解码。此外，在步骤ST18中，CPU 201执行控制以使得接收器200执行其他二维(2D)显示处理。
如上所述，还通过利用多视角视角位置SEI消息，接收方能够有利地执行立体(3D)显示处理和二维(2D)显示处理之间的切换。因此，能够适当地准确地处理传送内容中的动态变化，从而接收正确的流。
图42示出了“PID＝01”和“Stream_Type＝0x1B”的AVC基本视角的基本视频流ES1被连续地包括在传输流TS中并且“Stream_Type＝0x20”、“PID＝10”和“PID＝11”的MVC附加视频流ES2和ES3被间歇地包括在传输流TS中的情况的示例。在该情况下，多视角视角位置SEI被插入3D时段中的流ES1中。
多视角视角位置SEI存在于时段tn-1至tn+1中。因此，在这些时段中，接收器200执行立体(3D)显示处理。换句话说，提取流ES2和ES3以及流ES1并对其进行解码，从而执行立体(3D)显示。另一方面，在时段tn中，不存在多视角视角位置SEI。因此，在该时段中，接收器200执行二维(2D)显示处理。换句话说，仅提取流ES1并对其进行解码，从而执行二维(2D)显示。
此外，上述多视角流配置SEI和多视角视角位置SEI中的至少一个可以被插入发送方所发送的视频流中。在该情况下，接收方可以利用至少几条SEI来控制立体(3D)显示处理和二维(2D)显示处理之间的切换。
图43示出了3D时段和2D时段交替相继并且存在用于标识模式的辅助信息(多视角视角位置SEI消息)的情况的示例。时段T1和T3表示3D时段，时段T2表示2D时段。每个时段例如代表节目单位或场景单位。
在3D时段中，存在“Stream_Type＝0x1B”的MVC基本视角的基本视频流，并且还存在“Stream_Type＝0x20”的MVC非基本视角的附加视频流。此外，在2D时段中，存在“Stream_Type＝0x1B”的AVC流。此外，基本视频流具有以下配置，“SPS”是头部并且连续放置预定数量的访问单元(AU)。此外，附加视频流具有以下配置，其中，“SSSPS”是头部，并且连续放置预定数量的访问单元(AU)。此外，访问单元(AU)由“PPS、子流SEI和编码宏块条”构成。
在3D时段中，针对每个访问单元(AU)插入用于标识模式的辅助信息(多视角视角位置SEI消息)。辅助信息表示3D模式，由“3D”表示。此外，在2D时段中，不将辅助信息插入每个访问单元(AU)中。
如上所述，在存在如上所述的用于标识模式的辅助信息的情况下，接收器基于存在或不存在辅助信息能够立即辨别某个时段是3D时段还是2D时段，因此能够迅速地执行解码以及各显示处理之间的切换。在3D时段被切换到2D时段的情况下，当在第一访问单元中不存在辅助信息时，接收器能够在辨别定时T2确定3D时段被切换到2D时段，因此能够迅速地执行从3D到2D的模式切换。
图44的流程图示出了CPU 201中的操作模式切换控制的处理过程的示例。CPU 201针对每个图片帧根据该流程图执行控制。然而，在不以图片单位来插入SEI消息的情况下，例如，以GOP单位插入SEI消息，则CPU保持当前的SEI信息，直到当前GOP的SEI信息被下一GOP的SEI信息所替代。在下文中，将假设多视角流配置SEI作为A类型SEI而多视角视角位置SEI作为B类型SEI来进行描述。
首先，CPU 201开始步骤ST21中的处理，然后前进到步骤ST22中的处理。在步骤ST22中，CPU 201确定是否A类型SEI被插入基本视频流中。当插入A类型SEI时，CPU 201确定A类型SEI中的信息是否表示3D模式，即，步骤ST23中的“3D_flag＝1”。
当SEI中的信息表示3D模式(即，接收立体(3D)图像)时，CPU 201前进到步骤ST24中的处理。CPU 201在步骤ST24中管理基本视频流和附加视频流的各个输入缓冲器(编码缓冲器)，并在步骤ST25中通过利用解码器(视频解码器)分别对基本视频流和附加视频流进行解码。此外，在步骤ST6中，CPU 201执行控制以使得接收器200执行其他立体(3D)显示处理。
此外，当A类型SEI中的信息不表示3D模式(即，在步骤ST23中接收二维(2D)图像)时，CPU 201前进到步骤ST28中的处理。在步骤ST28中，CPU 201管理基本视频流的输入缓冲器(编码缓冲器)，并且在步骤ST29中，通过利用解码器(视频解码器)来对基本视频流进行解码。此外，在步骤ST30中，CPU 201执行控制以使得接收器200执行其他二维(2D)显示处理。
此外，当在步骤ST22中未插入A类型SEI时，在步骤ST27中，CPU 201确定是否B类型SEI被插入基本视频流中。当插入了B类型SEI时，CPU 201前进到步骤ST24中的处理，并执行控制以使得接收器200如上所述地执行立体(3D)显示处理。另一方面，当B类型SEI未被插入基本视频流中时，CPU 201前进到步骤ST28中的处理，并执行控制以使得接收器200执行二维(2D)显示处理。
如上所述，在多视角流配置SEI和多视角视角位置SEI中的至少一个被插入所发送的视频流中的情况下，接收方能够使用该至少一个。从而，可以有利地执行立体(3D)显示处理和二维(2D)显示处理之间的切换。因此，可以适当地准确地处理传输内容中的动态变化，从而接收正确的流。
[用于标识模式的辅助信息的又一示例]
在上述描述中，已经描述了多视角流配置SEI消息或多视角视角位置SEI消息被用作用于标识模式的辅助信息并且接收器基于其设置内容或者其是否存在而以帧精确度来辨别是3D时段还是2D时段的示例。作为用于标识2D模式的辅助信息，可以使用另一辅助信息。即，使用表示2D模式的辅助信息。
作为用于表示2D模式的标识信息，可以使用新定义的SEI消息。此外，在MPEG2流的情况下，可以使用现有的帧封装布置数据(frame_packing_arrangement_data())。
图45示出了帧封装布置数据(frame_packing_arrangement_data())的结构示例(语法)。32位字段的“frame_packing_user_data_identifier”使得用户数据能够被识别为帧封装布置数据。7位字段的“arrangement_type”表示立体感觉的视频格式类型(stereo_video_format_type)。如图46所示，“0000011”表示立体感觉的左右式，“0000100”表示立体感觉的上下式，“0001000”表示2D视频。
在2D模式(立体图像发送模式)下，上述的图7中示出的发送数据生成单元110将表示2D模式的辅助信息插入通过对中间视角的图像数据进行编码而获得的视频流(基本视频流)中。例如，在该流是MPEG2流的情况下，帧封装布置数据(arrangement_type＝0001000)被插入用户数据区域中。在该情况下，以节目单位、场景单位、图片组单位或图片单位插入该数据。
帧封装布置数据(frame_packing_arrangement_data())被插入图片报头部分的用户数据区域中作为用户数据“user_data()”。图47示出了“user_data()”的结构示例。32位字段的“user_data_start_code”是用户数据(user_data)的开始码并且是固定值“0x000001B2”。“frame_packing_arrangement_data()”被插入开始码之后作为数据主体。
在利用表示2D模式的辅助信息的情况下，将描述图27中示出的接收器200中的立体(3D)显示处理和二维(2D)显示处理之间的操作模式切换控制。通过CPU 201来执行该切换。当接收二维(2D)图像时，通过视频解码器216-1来提取表示2D模式的辅助信息，并将其提供到CPU 201。然而，当接收立体(3D)图像时，不通过视频解码器216-1提取辅助信息，因此不向CPU 201提供辅助信息。CPU 201基于存在或不存在辅助信息来控制立体(3D)显示处理和二维(2D)显示处理之间的切换。
图48和49示出了3D时段(当接收立体图像时)和2D(当接收二维图像时)交替相继的情况下的接收流的示例。每个时段例如是节目单位或场景单位。在3D时段中，存在作为基本视频流的中间流的视频流ES1，还存在作为附加视频流的左端视角和右端视角的两个视频流ES2和ES3。在2D时段中，仅存在作为基本视频流的视频流ES1。图48的示例示出了在2D时段中以图片单位插入表示2D模式的辅助信息的情况。此外，图49的示例示出了在2D时段中以场景单位或图片组(GOP单位)插入表示2D模式的辅助信息的情况。
图50的流程图示出了CPU 201中的操作模式切换控制的处理过程的示例。CPU 201针对每个图片帧根据该流程图来执行控制。然而，在不以图片单位插入辅助信息的情况下，例如，以GOP单位插入辅助信息(参照图49)，CPU 201保持当前的辅助信息直到当前GOP的辅助信息被下一GOP的辅助信息所替代。
首先，CPU 201开始步骤ST31中的处理，然后前进到步骤ST32中的处理。在步骤ST32中，CPU 201确定是否表示2D模式的辅助信息被插入基本视频流中。当未插入该辅助信息时，CPU 201前进到步骤ST33中的处理。换句话说，当接收立体(3D)图像时，辅助信息未被插入基本视频流中，CPU 201前进到步骤ST33中的处理。
在步骤ST33中，CPU 201管理基本视频流和附加视频流的各个输入缓冲器(编码缓冲器)，并在步骤ST44中通过利用解码器(视频解码器)分别对基本视频流和附加视频流进行解码。此外，在步骤ST35中，CPU 201执行控制以使得接收器200执行其他立体(3D)显示处理。
此外，当在步骤ST32中插入辅助信息时，CPU 201前进到步骤ST36中的处理。换句话说，由于当接收二维(2D)图像时辅助信息被插入基本视频流中，因而CPU 201前进到步骤ST36中的处理。在步骤ST36中，CPU 201管理基本视频流的输入缓冲器(编码缓冲器)，并且在步骤ST37中通过利用解码器(视频解码器)对基本视频流进行解码。此外，在步骤ST38中，CPU 201执行控制以使得接收器200执行其他二维(2D)显示处理。
如上所述，还通过利用表示2D模式的辅助信息，接收方能够有利地执行立体(3D)显示处理和二维(2D)显示处理之间的切换。因此，可以适当地准确地处理传送内容中的动态变化，从而接收正确的流。
图51示出了“Stream_Type＝0x20”和“PID＝01”的MPEG2基本视角的基本视频流ES1被连续地包括在传输流TS中并且“Stream_Type＝0x23”、“PID＝10”和“PID＝11”被间歇地包括在传输流TS中的情况的示例。在该情况下，帧封装布置数据(arrangement_type＝“2D”)被插入2D时段中的流ES1中。
在时段tn-1和tn+1中不存在帧封装布置数据(arrangement_type＝"2D")。在这些时段中，接收器200执行立体(3D)显示处理。换句话说，还提取流ES2和ES3以及流ES1并对其进行解码以使得执行立体(3D)显示。另一方面，在时段tn中，存在帧封装布置数据(arrangement_type＝"2D")。因此，在该时段中，接收器200执行二维(2D)显示处理。换句话说，仅提取流ES1并对其进行解码以使得执行二维(2D)显示。
图52示出了3D时段和2D时段交替相继并且存在用于标识模式的辅助信息(新定义的表示2D模式的SEI消息)的情况的示例。时段T1和T3表示3D时段，时段T2表示2D时段。每个时段代表例如节目单位或场景单位。
在3D时段中，存在“Stream_Type＝0x1B”的MVC基本视角的基本视频流，还存在“Stream_Type＝0x20”的MVC非基本视角的附加视频流。此外，在2D时段中，存在“Stream_Type＝0x1B”的AVC流。此外，基本视频流具有以下配置，“SPS”是头部并且连续放置预定数量的访问单位(AU)。此外，附加视频流具有以下配置，“SSSPS”是头部并且连续放置预定数量的访问单元(AU)。此外，访问单元(AU)由“PPS、子流SEI和编码宏块条”构成。
用于标识模式的辅助信息被插入2D时段中的每个访问单元(AU)中。辅助信息表示2D模式，由“2D”表示。此外，该辅助信息不被插入3D时段中的每个访问单元(AU)中。
如上所述，在存在如上所述的用于标识模式的辅助信息的情况下，接收器基于该辅助信息存在还是不存在能够立即辨别某个时段是3D时段还是2D时段，因此可以迅速地执行解码并在各显示处理之间切换。在3D时段被切换到2D时段的情况下，当在第一访问单元中存在辅助信息时接收器在辨别定时T2能够确定3D时段被切换到2D时段，因此能够迅速地执行从3D到2D的模式切换。
[立体感觉的立体图像的情况]
此外，在上述描述中，已经描述了当发送立体(3D)图像时用于显示多视角立体图像的中央视角、左端视角和右端视角的图像数据从广播站100发送到接收器200的示例。本技术同样可应用于当发送立体(3D)图像时从广播站100向接收器200发送用于显示立体感觉的立体图像的左眼视角和右眼视角的图像数据的情况。
在该情况下，在传输流TS中包括的视频流中，如图53所示，左眼(Left)视角和右眼(Right)视角的图像数据项各被编码成单个图片的数据。在所示的示例中，每个图片的数据具有全HD尺寸1920*1080。在该情况下，例如，对于通过对左眼视角的图像数据项和右眼视角的图像数据项中的每个图像数据项进行编码而获得的基本视频流和附加视频流，多视角视角位置SEI被插入基本视频流中。
图54示出了广播站100中的发送用于显示立体感觉的立体图像的左眼视角和右眼视角的图像数据的发送数据生成单元110B的配置示例。在图54中，与图7中对应的部分被给予相同的参考标号，并且将适当地省略其详细描述。
从图像数据输出部111-1输出的左眼视角的图像数据(左眼图像数据)VL被缩放器113-1缩放到全HD尺寸1920*1080。此外，经缩放的图像数据VL’被提供至视频编码器114-1。视频编码器114-1对图像数据VL’执行编码以获得编码视频数据，并生成包括该编码数据的视频流(基本视频流)作为子流(子流1)。
此外，在该情况下，视频编码器114-1至少以节目单位、场景单位、图片组单位或图片单位将多视角视角位置SEI消息插入视频流(基本视频流)中。在该多视角视角位置SEI消息中包括的多视角视角位置(Multiview view position())(参照图37)中，存在“view_position[0]＝0”和“view_position[1]＝1”。
这表示作为基本视频流的基本视角视频流是通过对左端视角的图像数据进行编码获得的视频流。此外，它表示作为附加视频流的非基本视角视频流是通过对右端视角的图像数据进行编码而获得的视频流。
此外，从图像数据输出部111-2输出的右眼视角的图像数据(右眼图像数据)被缩放器113-2缩放到全HD尺寸1920*1080。此外，经缩放的图像数据VR’被提供到视频编码器114-2。视频编码器114-2对图像数据VR’执行编码以获得编码视频数据，并生成包括编码数据的视频流(附加视频流)作为子流(子流2)。
复用器115对从各个编码器提供来的原始流进行分组和复用以生成传输流TS。在该情况下，通过对左眼图像数据进行编码而获得的视频流(基本视频流)被作为MVC基本视角视频原始流(原始视角子位流)来发送。此外，通过对右眼图像数据进行编码而获得的视频流(附加视频流)被作为MVC非基本视角视频原始流(非基本视角子位流)来发送。此外，在该情况下，PTS被插入各PES报头中，以使得在接收方执行同步接收。省略详细描述，图54所示的发送数据生成单元110B的其余部分与图7所示的发送数据生成单元110按相同方式配置。
图55示出了立体感觉的立体图像的接收器200B的配置实例。在图55中，与图27对应的部件被给予相同的参考标号，并且将适当地省略其详细描述。复用器214从暂时累积在TS缓冲器213中的传输流TS中提取视频、视差、图形和音频的各原始流。
解复用器214所提取的通过对各左眼图像数据和右眼图像数据进行编码而获得的视频流被提供到编码缓冲器215-1和215-2以被暂时累积。此外，视频解码器216-1和216-2在CPU 201的控制下分别对编码缓冲器215-1和215-2中存储的视频流执行解码处理，以获取左眼图像数据和右眼图像数据。
在该情况下，视频解码器216-1提取如上所述的被插入到视频流(基本视频流)中的多视角视角位置SEI消息(参照图38和37)，以发送到CPU 201。当接收立体(3D)图像时，即，当执行立体(3D)显示处理时，CPU 201基于SEI信息来控制各单元的操作以执行操作。
视频解码器216-1和216-2所获取的各个视角的图像数据项被提供到解码缓冲器217-1和217-2以被暂时累积。缩放器218-1和218-2分别将从解码缓冲器217-1和217-2输出的各个视角的图像数据项的分辨率调整到预定分辨率。
叠加单元220B分别将相应的图形位图数据项叠加在左眼图像数据和右眼图像数据上以生成用于显示立体感觉的立体图像的显示数据。显示图像数据被提供到显示器，从而显示立体感觉的立体(3D)图像数据。省略详细描述，图55所示的发送数据生成单元200B的其余部件与图27所示的发送数据生成单元200以相同方式配置。
这样，即使在发送作为立体图像的立体感觉的立体(3D)图像的情况下，仍可以在接收器200B中有利地通过利用呈现立体图像要素的辅助信息(例如，上述多视角视角位置SEI)而在立体(3D)显示处理和二维(2D)显示处理之间执行切换。因此，可以适当地准确地处理传送内容中的动态变化，从而接收正确的流。
图56和图57示出了在3D时段(当接收立体图像时)和2D时段(当接收二维图像时)交替相继的情况下的接收流的示例。每个时段是例如节目单位或场景单位。在3D时段中，存在作为基本视频流并且包括左眼视角的图像数据的视频流ES1，还存在作为附加视频流并且包括右眼视角的图像数据的视频流ES2。在2D时段中，仅存在作为基本视频流并且包括二维图像数据的视频流ES1。
图56的示例示出了在3D时段中以图片单位插入多视角视角位置SEI消息的情况。此外，图57的示例示出了在3D时段以场景单位或以图片组单位(GOP单位)插入多视角视角位置SEI的情况。
图58示出了在传输流TS中连续地包括“Stream_Type＝0x1B”和“PID＝1”的AVC基本视角的基本视频流ES1并且在传输流TS中间歇地包括“Stream_Type＝0x20”和“PID＝1”的MVC附加视频流ES2的情况的示例。在该情况下，多视角视角位置SEI被插入3D时段中的流ES1中。
多视角视角位置SEI存在于时段tn-1和tn+1中。因此，在这些时段中，接收器200B执行立体感觉的立体(3D)显示处理。换句话说，还提取流ES2以及流ES1并且对其进行解码以显示立体感觉的立体(3D)图像。
另一方面，在时段tn中，多视角视角位置SEI不存在。为此，在该时段中，接收器200B执行二维(2D)显示处理。换句话说，仅提取流ES1并对其进行解码以使得执行二维(2D)显示。此时，为了迅速地从3D处理模式切换到2D处理模式，以下处理方法也是可行的，其中，仅对基本视频流进行解码，在缓冲器管理模式被保持在3D模式的状态下针对2D显示来执行显示处理。
在显示立体感觉的立体图像的上述示例中，使用多视角视角位置SEI作为用于标识模式的辅助信息。然而，省略详细描述，并且存在以下配置，使用多视角流配置SEI，或者按照与多视角立体图像的示例相同的方式来使用表示2D模式的辅助信息(帧封装布置数据等)。
图59总地示出了如上所述的在3D时段中存在附加流而在2D时段中仅存在基本流的情况下的用于标识3D时段和2D时段的情况A、情况B和情况C的方法。
图59(a)所示的情况A的方法是这样的方法，在3D时段和2D时段中均将用于标识模式的辅助信息插入基本流中，并且可以基于辅助信息的设置内容来识别3D时段和2D时段。情况A的方法对应于上述的使用多视角流配置SEI的示例。
图59(b)所示的情况B的方法是这样的方法，仅在3D时段中将表示3D模式的辅助信息插入基本流中，并且基于存在还是不存在辅助信息来识别3D时段和2D时段。情况B的方法对应于上述的使用多视角视角位置SEI的示例。
图59(c)所示的情况C的方法是这样的方法，仅在2D时段中将表示2D模式的辅助信息插入基本流中，并且基于存在还是不存在辅助信息来识别3D时段和2D时段。情况C的方法对应于上述的利用表示2D模式的辅助信息(新定义的SEI、帧封装布置数据等等)的示例。
[在2D时段中存在附加流的情况]
在上述描述中，已经描述了在2D时段中仅存在基本流的示例。然而，2D时段中的配置可以与3D时段中的流配置相同。换句话说，例如，基本流和附加流可以既存在于3D时段又存在于2D时段。
在图7所示的上述发送数据生成单元110中，当发送立体(3D)图像时，生成MVC基本视角的基本视频流和MVC非基本视角的两个附加视频流作为发送视频流。换句话说，对中央(Center)视角的经缩放的图像数据VC’进行编码以获得MVC基本视角的基本视频流。此外，分别对左端(Left)和右端(Right)这两个视角的经缩放的图像数据项VL’和VR’进行编码以获得MVC非基本视角的附加视频流。
在图7所示的上述发送数据生成单元110中，例如，甚至在发送二维(2D)图像时，仍生成MVC基本视角的基本视频流和MVC非基本视角的两个附加视频流作为发送视频流。换句话说，对经缩放的二维图像数据进行编码以获得MVC基本视角的基本视频流。此外，作为参照基本视频流的结果而以视角之差为零的编码模式(跳过的宏块，Skipped Macro Block)来执行编码，从而获得基本包括与二维图像数据相同的图像数据的两个附加视频流。
如上所述，同样当发送二维(2D)图像时，按照与当发送立体(3D)图像相同的方式，流被配置成包括MVC基本视角的基本视频流和MVC非基本视角的两个附加视频流，从而编码器能够连续地对MVC进行操作。因此，预计发送数据生成单元110能够稳定操作。
此处，上述多视角视角位置SEI消息(multiview_view_position SEI message)被用作用于标识模式的辅助信息。图7所示的上述发送数据生成单元110至少以节目单位、场景单位、图片组单位或图片单位在发送立体(3D)图像时以及在发送二维(2D)图像时将多视角视角位置SEI消息插入基本视频流中。
在发送立体(3D)图像时插入的多视角视角位置SEI消息中，“view_position[i]”被如下地设置。换句话说，存在“view_position[0]＝1”，其表示作为基本视频流的基本视角视频流是通过对中央视角的图像数据进行编码而获得的视频流。
此外，存在“view_position[1]＝0”，其表示作为附加视频流的非基本视角第一视频流是通过对左端视角的图像数据进行编码而获得的视频流。此外，存在“view_position[2]＝2”，其表示作为附加视频流的非基本视角第二视频流是通过对右端视角的图像数据进行编码而获得的视频流。
另一方面，在发送二维图像数据时插入的多视角视角位置SEI消息中，“view_position[i]”被如下地设置。换句话说，全部的“view_position[0]”、“view_position[1]”和“view_position[2]”为“0”、“1”或“2”。
当以该方式设置“view_position[i]”时，甚至在发送基本视频流和两个附加视频流的情况下，接收方仍将附加视频流和基本视频流之差辨认为零。换句话说，即使发送多个流，接收方仍能够基于“view_position[i]”的设置值来检测出发送二维(2D)图像。
将描述图27所示的接收器200中的立体(3D)显示处理和二维(2D)显示处理之间的操作模式切换控制。通过CPU 201来执行该切换。当接收立体(3D)图像时，通过视频解码器216-1来提取多视角视角位置SEI消息并将其提供到CPU 201。CPU 201基于SEI消息的“view_position[i]”的设置内容来识别是立体图像发送模式还是二维图像发送模式，并控制立体(3D)显示处理和二维(2D)显示处理之间的切换。
图60和61示出了3D时段(当接收立体图像时)和2D时段(当接收二维图像时)交替相继的情况下的接收流的示例。每个时段例如是节目单位或场景单位。在3D时段和2D时段中，均存在作为基本视频流的中央视角的视频流ES1，还存在作为附加视频流的左端视角和右端视角这两个视频流ES2和ES3。
图60的示例示出了在3D时段和2D时段中以图片单位插入多视角视角位置SEI消息的情况。此外，图61的示例示出了在3D时段和2D时段中以场景单位或图片组单位(GOP单位)插入多视角视角位置SEI的情况。
图62的流程图示出了CPU 201中的操作模式切换控制的处理过程的示例。CPU 201针对每个图片帧根据该流程图来执行控制。然而，在不以图片单位插入SEI的情况下，例如，以GOP单位插入SEI(参照图61)，CPU 201保持当前的SEI信息直到当前GOP的SEI信息被下一GOP的SEI信息所替代。
首先，CPU 201开始步骤ST41中的处理，然后该处理前进到步骤ST42。在步骤ST42中，CPU 201确定SEI(“multiview_view_position SEI message”)是否被插入基本视频流中。当插入了SEI时，在步骤ST43中，CPU 201确定SEI中的信息(即，“view_position[i]”的设置内容)是否表示3D模式。
当SEI中的“view_position[i]”的设置内容表示3D模式时，即，当接收立体(3D)图像时，CPU 201前进到步骤ST44中的处理。在步骤ST44中，CPU 201管理基本视频流和附加视频流的各个输入缓冲器(编码缓冲器)，并在步骤ST45中通过利用解码器(视频解码器)分别对基本视频流和附加视频流进行解码。此外，在步骤ST46中，CPU 201执行控制以使得接收器200执行其他立体(3D)显示处理。
此外，当在步骤ST42中未插入SEI时，或者在步骤ST43中当SEI中的“view_position[i]”的设置内容不表示3D模式时，即，当接收二维(2D)图像时，CPU 201前进到步骤ST47中的处理。在步骤ST47中，CPU 201管理基本视频流的输入缓冲器(编码缓冲器)，并在步骤ST48中通过利用解码器(视频解码器)对基本视频流进行解码。此外，在步骤ST49中，CPU 201执行控制以使得接收器200执行其他二维(2D)显示处理。
图63示出了当在图27所示的接收器200中接收立体(3D)图像时的接收数据包处理的示例。混合并发送基本视频流和附加视频流的NAL数据包。图64示出了NAL单元报头和NAL单元报头的MVC扩展(NAL单元报头MAC扩展)的配置示例(语法)。字段“view_id”表示什么号的视角是相应视角。如图63所示，接收器200将混合的发送的NAL数据包分配给每个流，并基于NAL单元类型的值和NAL单元报头MVC扩展(Headermvc extension)的视角ID(view_id)的组合来对每个流进行解码。
图65示出了当在图27所示的接收器200中接收二维(2D)图像时的接收数据包处理的示例。混合并发送基本视频流和附加视频流的NAL数据包。如图65所示，接收器200将混合的发送的NAL数据包分配给每个流，并基于NAL单元类型的值和NAL单元报头MVC扩展(Headermvc extention)的视角ID(view_id)的组合来仅对基本视频流进行解码。
换句话说，同样当接收二维(2D)图像时，按照与接收立体(3D)图像时相同的方式，接收器200接收基本视频流和附加视频流，但是基于多视角视角位置SEI消息的“view_position[i]”的设置内容来执行二维(2D)图像处理，而不像相关技术中那样对SEI之后的整个图片的宏块条进行解码。
如上所述，由于能够在数据包(NAL数据包)的级别执行识别，而不对附加视频流的编码数据进行解码，可以在接收器200中迅速地执行向2D显示模式的转变。此外，由于等于或低于宏块条层的层不被解码并可以被忽略(discard)，因而在一定程度上抑制了存储器消耗，从而节约电力或将系统的CPU预算、存储空间带宽等分配给其他特征块(例如，高性能图形)，从而实现多功能。
此外，当接收二维(2D)图像时，按照与接收立体(3D)图像相同的方式，接收器200接收基本视频流和附加视频流，但是执行二维(2D)图像处理而不执行立体(3D)图像处理。因此，可以获得与相关技术类型的2D显示等同的显示图像质量。
换句话说，在接收二维(2D)图像时执行立体(3D)图像处理的情况下，通过对基本视频流进行解码而获得的图像数据与通过对附加视频流进行解码而获得的图像数据相同。因此，如果以3D模式执行显示，则该显示是平的，即，执行不带视差的显示，从而与执行相关技术类型的2D显示相比，存在图像质量会劣化的可能性。例如，如果考虑立体感觉的立体图像显示，这在被动类型(利用极化(polarization)眼镜)3D监视器和主动类型(利用快门眼镜)的3D监视器中均可能发生。
在通过许多被动类型监视器来执行3D显示时，在竖直方向上以显示线单位来交替显示左眼视角(Left view)和右眼视角(Right view)的数据项，从而实现3D，但是在两个视角的图像数据项相同的情况下，在相关技术中竖直分辨率仅是2D显示的一半。另一方面，在通过主动型监视器执行的3D显示时，在时间方向上，帧被交替切换到左眼视角和右眼视角，但是在两个视角的图像数据项相同的情况下，在相关技术中在时间方向上的分辨率是2D显示的一半。
图66示出了在传输流TS中连续包括“Stream_Type＝0x1B”和“PID＝01”的MVC基本视角的基本视频流ES1并且在传输流TS中还包括“Stream_Type＝0x20”、“PID＝10”和“PID＝11”的MVC附加视频流ES2和ES3的情况的示例。在该情况下，多视角视角位置SEI被插入3D时段和2D时段中的流ES1中。
在时段tn-1和tn+1中，例如，存在“view_position[0]＝1”、“view_position[1]＝0”和“view_position[2]＝2”，这表示3D模式。因此，在这些时段中，接收器200执行立体(3D)显示处理。换句话说，还提取流ES2和ES3以及流ES1，并对其进行解码，使得执行立体(3D)显示。
另一方面，在时段tn中，例如，存在“view_position[0]＝0”、“view_position[1]＝0”和“view_position[2]＝0”，这表示2D模式。因此，在该时段中，接收器200执行二维(2D)显示处理。换句话说，仅提取流ES1，并对其进行解码，使得执行二维(2D)显示。
图67示出了3D时段(3D模式时段)和2D时段(2D模式时段)交替相继并且存在用于标识模式的辅助信息(多视角视角位置SEI消息)的情况的示例。时段T1和T3表示3D时段，时段T2表示2D时段。每个时段代表例如节目单位或场景单位。
在3D时段和2D时段中，均存在“Stream_Type＝0x1B”的MVC基本视角的基本视频流，还存在“Stream_Type＝0x20”的MVC非基本视角的附加视频流。此外，基本视频流具有以下配置，“SPS”是头部，并且连续放置预定数量的访问单元(AU)。
此外，附加视频流具有以下配置，“SSSPS”是头部，并且连续放置预定数量的访问单元(AU)。此外，由“PPS、子流SEI和编码宏块条”来构成访问单元(AU)。然而，作为参照基本视频流的结果而按照视角之间的差为零的编码模式(跳过宏块)的方式对2D时段中的附加视频流进行编码。该时段中的附加视频流具有以下配置，“SSSPS”是头部，并且连续放置预定数量的访问单元(AU)。通过“PPS、子流SEI和宏块条跳过MB”来构成访问单元(AU)。
针对每个访问单元(AU)插入用于标识模式的辅助信息(多视角视角位置SEI消息)。插入到3D时段中的访问单元中的辅助信息由“3D”来表示，并且“view_position[i]”是表示每个视角的相对位置关系的值并且表示3D模式(立体图像发送模式)。另一方面，插入到2D时段中的访问单元中的辅助信息由“2D”来表示，并且“view_position[i]”在每个视角中为相同的值并且表示2D模式(二维图像发送模式)。换句话说，该情况表示当接收方执行3D显示处理时执行平的3D显示。
如上所述，在存在用于标识模式(多视角视角位置SEI消息)的辅助信息的情况下，接收器检查辅助信息的要素“view_position[i]”，并且能够立即辨别该要素是表示3D模式还是表示2D模式，因此可以迅速地执行解码以及各显示处理之间的切换。在3D时段被切换到2D时段的情况下，当插入第一访问单元中的辅助信息的要素“view_position[i]”表示2D模式时，接收器能够在辨别定时T2处确定3D时段被切换到2D时段，因此能够迅速地执行从3D到2D的模式切换。
此外，在上述描述中，已经描述了将多视角视角位置SEI消息用作标识模式的辅助信息的示例。省略了详细描述，并且可以使用其他辅助信息，例如，多视角流配置SEI消息(参照图21和14)。
[用于标识模式的辅助信息的另一示例]
在上述描述中，已经描述了在3D时段和2D时段中都插入用于标识模式的辅助信息(例如，多视角视角位置SEI消息)并且基于其设置内容以帧精度来辨别是3D时段还是2D时段的示例。然而，可以仅在3D时段中插入表示3D模式的辅助信息，并且基于存在还是不存在该辅助信息来以帧精度辨别是3D时段还是2D时段。同样在该情况下，例如，多视角视角位置SEI消息可以被用作辅助信息。
上述图7所示的发送数据生成单元110在3D模式(立体图像发送模式)下将多视角视角位置SEI消息插入通过对中间视角的图像数据进行编码而获得的视频流(基本视频流)中。多视角视角位置SEI消息形成表示3D模式的标识信息。在该情况下，至少以节目单位、场景单位、图片组单位或图片单位插入该消息。
图68和69示出了3D时段(当接收立体图像时)和2D时段(当接收二维图像时)交替相继的情况的接收流的示例。每个时段例如是节目单位或场景单位。在3D时段和2D时段中，均存在作为基本视频流的中央视角的视频流ES1，还存在作为附加视频流的左端视角和右端视角这两个视频流ES2和ES3。
图68的示例示出了在3D时段中以图片单位插入多视角视角位置SEI消息的情况。此外，图69的示例示出了在3D时段中以场景单位或图片组单位(GOP单位)插入多视角视角位置SEI的情况。
省略了详细描述，还通过图41的上述流程示出了CPU 201中的操作模式切换控制的处理过程。CPU 201针对每个图片帧根据该流程图来执行控制。然而，在不以图片单位插入SEI的情况下，例如，以GOP单位插入SEI(参照图69)，CPU 201保持当前SEI信息直到当前GOP的SEI信息被下一GOP的SEI的存在或不存在的信息所替代。
如上所述，还通过仅在3D时段中插入多视角视角位置SEI消息，接收方能够基于存在还是不存在SEI消息来有利地执行立体(3D)显示处理和二维(2D)显示处理之间的切换。因此，可以适当地正确地处理传送内容中的动态变化，从而接收正确的内容。
图70示出了在传输流TS中连续包括“Stream_Type＝0x1B”和“PID＝01”的MVC基本视角的基本视频流ES1并且在传输流TS中连续地包括“Stream_Type＝0x20”、“PID＝10”和“PID＝11”的MVC附加视频流ES2和ES3的情况的示例。在该情况下，多视角视角位置SEI被插入3D时段中的流ES1中。
在时段tn-1和tn+1中存在多视角视角位置SEI。因此，在这些时段中，接收器200执行立体(3D)显示处理。换句话说，还提取流ES2和ES3以及流ES1并对其进行解码，使得执行立体(3D)显示。另一方面，在时段tn中，不存在多视角视角位置SEI。因此，在该时段中，接收器200执行二维(2D)显示处理。换句话说，仅提取流ES1，并对其进行解码，使得执行二维(2D)显示。
图71示出了3D时段(3D模式时段)和2D时段(2D模式时段)交替相继并且存在用于标识模式的辅助信息(多视角视角位置SEI消息)的情况的示例。时段T1和T3表示3D时段，时段T2表示2D时段。每个时段例如代表节目单位或场景单位。按照与图67的上述示例相同的方式，在3D时段和2D时段中，均存在“Stream_Type＝0x1B”的MVC基本视角的基本视频流，还存在“Stream_Type＝0x20”的MVC非基本视角的附加视频流。
针对3D时段中的每个访问单元(AU)插入用于标识模式的辅助信息(多视角视角位置SEI消息)。辅助信息表示3D模式，由“3D”表示。此外，该辅助信息不被插入2D时段中的每个访问单元(AU)中。
如上所述，在存在如上所述的用于标识模式的辅助信息的情况下，接收器基于存在还是不存在辅助信息能够立即辨别某个时段是3D时段还是2D时段，因此可以迅速地执行解码以及各显示处理之间的切换。在3D时段被切换到2D时段的情况下，当在第一访问单元中不存在辅助信息的时，接收器能够在辨别定时T2确定3D时段被切换到2D时段，因此能够迅速地执行从3D到2D的模式切换。
[用于标识模式的辅助信息的又一示例]
在上述描述中，已经描述了多视角视角位置SEI消息被用作用于标识模式的辅助信息并且接收器基于其设置内容或其存在还是不存在来以帧精度辨别是3D时段还是2D时段的示例。作为用于标识模式的辅助信息，可以使用其他辅助信息。即，使用用于标识2D模式的辅助信息。
作为标识2D模式的标识信息，可以使用新定义的SEI消息。此外，在MPEG2流的情况下，可以使用现有的帧封装布置数据(frame_packing_arrangement_data())(参照图45和46)。
上述的图7中所示的发送数据生成单元110在2D模式(立体图像发送模式)下将表示2D模式的辅助信息插入通过对中间视角的图像数据进行编码而获得的视频流(基本视频流)中。例如，在该流是MPEG2流的情况下，上述帧封装布置数据(arrangement_type＝0001000)被插入用户数据区域中。在该情况下，至少以节目单位、场景单位、图片组单位或图片单位来插入该数据。
将描述在利用表示2D模式的辅助信息的情况下在图27所示的接收器200中的立体(3D)显示处理和二维(2D)显示处理之间的操作模式切换控制。通过CPU 201来执行该切换。当接收二维(2D)图像时，通过视频解码器216-1来提取表示2D模式的辅助信息，并且将其提供给CPU201。然而，当接收立体(3D)图像时，不通过视频解码器216-1提取辅助信息，并且不将其提供给CPU 201。CPU 201基于辅助信息的存在还是不存在来控制立体(3D)显示处理和二维(2D)显示处理之间的切换。
图72和73示出了3D时段(当接收立体图像时)和2D时段(当接收二维图像时)交替相继的情况下的接收流的示例。每个时段例如是节目单位或场景单位。在3D时段和2D时段中，均存在作为基本视频流的中央视角的视频流ES1，还存在作为附加视频流的左端视角和右端视角这两个视频流ES2和ES3。图72的示例示出了在2D时段中以图片单位插入表示2D模式的辅助信息的情况。此外，图73的示例示出了在2D时段中以场景单位或图片组单位(GOP单位)插入表示2D模式的辅助信息的情况。
省略了详细描述，还通过例如图50的流程图示出了该情况下的CPU201中的操作模式切换控制的处理过程。CPU 201针对每个图片帧根据该流程图来执行控制。然而，在不以图片单位插入SEI的情况下，例如，以GOP单位插入SEI(参照图73)，CPU 201保持当前的SEI信息直到当前GOP的SEI信息被下一GOP的SEI的存在还是不存在的信息所替代。
如上所述，还通过仅在2D时段中插入表示2D模式的辅助信息，可以有利地基于其标识信息的存在还是不存在来执行立体(3D)显示处理和二维(2D)显示处理之间的切换。因此，可以适当地准确地处理传送内容中的动态变化，从而接收正确的流。
图74示出了在传输流TS中连续包括“Stream_Type＝0x02”和“PID＝1”的MPEG2基本视角的基本视频流ES1并且在传输流TS中连续包括“Stream_Type＝0x23”和“PID＝1”和“PID＝11”的AVC附加视频流ES2和ES3的情况的示例。
在时段tn-1和tn+1中不存在帧封装布置数据(arrangement_type＝"2D")。因此，在这些时段中，接收器200执行立体(3D)显示处理。换句话说，还提取流ES2和ES3以及流ES1，并对其进行解码，从而执行立体(3D)显示。另一方面，在时段tn中，存在帧封装布置数据(arrangement_type＝“2D”)。因此，在该时段中，接收器200执行二维(2D)显示处理。换句话说，仅提取流ES1并对其进行解码，从而执行二维(2D)显示。
图75示出了3D时段(3D模式时段)和2D时段(2D模式时段)交替相继并且存在用于标识模式的辅助信息(新定义的表示2D模式的SEI消息)的情况的示例。时段T1和T3表示3D时段，时段T2表示2D时段。每个时段代表例如节目单位或场景单位。按照与图67的上述示例的相同的方式，在3D时段和2D时段中，均存在“Stream_Type＝0x1B”的MVC基本视角的基本视频流，还存在“Stream_Type＝0x20”的MVC非基本视角的附加视频流。
在2D时段中针对每个访问单元(AU)插入用于标识模式的辅助信息。辅助信息表示2D模式，由“2D”表示。此外，在3D时段中，不将辅助信息插入每个访问单元(AU)中。
如上所述，在存在上述的用于标识模式的辅助信息的情况下，接收器基于辅助信息的存在还是不存在能够立即辨别某个时段是3D时段还是2D时段，因此可以迅速地执行解码以及各显示处理之间的切换。在3D时段被切换到2D时段的情况下，当在第一访问单元中存在辅助信息时接收器能够在辨别定时T2确定3D时段被切换到2D时段，因此能够迅速地执行从3D到2D的模式切换。
[立体感觉的立体图像的情况]
图76和77示出了3D时段(当接收立体图像时)和2D时段(当接收二维图像时)交替相继的情况下的接收流的示例。然而，该示例是立体(3D)图像显示是立体感觉的立体图像显示(参照图54和55)的情况的示例。每个时段例如是节目单位或场景单位。在3D时段和2D时段中，均存在作为基本视频流并且包括左眼视角的图像数据的视频流ES1，还存在作为附加视频流并且包括右眼视角的图像数据的视频流ES2。
图76的示例示出了在3D时段和2D时段中以图片单位插入多视角视角位置SEI消息的情况。此外，图77的示例示出了在3D时段和2D时段中以场景单位或图片组单位(GOP单位)插入多视角视角位置SEI的情况。
图78示出了在传输流TS中连续包括“Stream_Type＝0x1B”和“PID＝01”的MVC基本视角的基本视频流ES1并且在传输流TS中连续包括“Stream_Type＝0x20”和“PID＝01”的MVC附加视频流ES2的情况的示例。在该情况下，在3D时段和2D时段中，多视角视角位置SEI被插入流ES1中。
在时段tn-1和tn+1中，例如，存在表示3D模式的“view_position[0]＝0”和“view_position[1]＝1”。因此，在这些时段中，接收器200执行立体(3D)显示处理。换句话说，提取流ES2以及流ES1，并对其进行解码，从而执行立体(3D)显示。
另一方面，在时段tn中，例如，存在表示2D模式的“view_position[0]＝0”和“view_position[1]＝0”。因此，在该时段中，接收器200执行二维(2D)显示处理。换句话说，仅提取流ES1并对其进行解码，从而执行二维(2D)显示。
在立体感觉的立体图像显示的上述示例中，在3D时段和2D时段中均插入多视角视角位置SEI作为用于标识模式的辅助信息，并且接收器基于其设置内容来识别是3D时段还是2D时段。省略了其详细描述，并且可以按照相同的方式来对待在仅3D时段中插入表示3D模式的辅助信息的示例或仅在2D时段中插入表示2D模式的辅助信息的示例。
图79总地示出了如上所述的在3D时段和2D时段中均存在基本流和附加流的情况下的用于标识3D时段和2D时段的情况D、情况E和情况F的方法。
图79(a)所示的情况D的方法是在3D时段和2D时段中均将用于标识模式的辅助信息插入原始流中并且能够基于辅助信息的设置内容来识别3D时段和2D时段的方法。在上述描述中，已经描述了将多视角视角位置SEI用作辅助信息的示例。
图79(b)所示的情况E的方法是仅在3D时段中将表示3D模式的辅助信息插入原始流中并且基于存在还是不存在辅助信息来识别是3D时段还是2D时段的方法。在上述描述中，已经描述了将例如多视角视角位置SEI用作辅助信息的示例。
图79(c)所示的情况F的方法是仅在2D时段中将表示2D模式的辅助信息插入原始流中并且基于存在还是不存在辅助信息来识别3D时段和2D时段的方法。在上述描述中，已经描述了将例如新定义的SEI、帧封装布置数据等等用作辅助信息的示例。
如上所述，在本技术中，在图80和81所示的流配置中，在接收方中可以迅速地识别某个模式是3D图像发送模式还是2D图像发送模式。
图80示出了在3D时段(3D图像发送模式)发送基本视频流和附加视频流并且在2D时段(2D图像发送模式)中发送单个视频流(仅基本视频流)的流配置示例1。此外，图81示出了在3D时段(3D图像发送模式)和2D时段(2D图像发送模式)中均发送基本视频流和附加视频流的流配置示例2。然而，作为参照基本视频流的结果，按照视角之间的差为零的编码模式(跳过宏块)对2D时段中的附加视频流进行编码。在配置示例1和2中，如上所述，通过利用本技术可以按照帧精度识别3D时段和2D时段。
[视频层的信令信息和系统层的3D和2D标识信息]
在上述描述中，已经描述了基于在视频流中插入的辅助信息(即，视频层的辅助信息(信令信息)来以帧精度确定是3D时段还是2D时段的示例。在该情况下，要求接收器在全部时间检查与相关辅助信息对应的部分。
考虑基于视频层的辅助信息(信令信息)与系统层的3D和2D标识信息(信令信息)的组合来确定是3D时段还是2D时段。在该情况下，接收器首先检测系统层的标识信息，并且能够检查与相关视频层的辅助信息对应的部分。
[配置示例1]
图82示出了在3D时段和2D时段中均存在基本视频流和附加视频流并且利用节目映射表(PMT)的节目循环(Program_loop)和视频ES循环(video ES_loop)这两者来执行信令的示例。
在该示例中，在3D时段(事件1)和3D时段(事件2)中，均存在“Stream_Type＝0x02”的MPEFG2基本视角的基本视频流和“Stream_Type＝0x23”的AVC附加视频流。在该示例中，“L”表示左眼图像数据，“R”表示右眼图像数据。当基本视频流是“L”而附加视频流是“R”时，可以执行正常的3D显示，而当基本视频流是“L”而附加视频流是“L”时，执行平的3D显示。
在该示例的情况下，图54所示的发送数据生成单元110B以图片单位将表示2D模式的帧封装布置数据(arrangement_type＝“2D”)插入2D时段中的基本数据流的用户数据区域中。从而，接收器能够在视频层中以帧精度确定是2D时段还是3D时段。
此外，在该示例的情况下，利用节目映射表(PMT)的节目循环(Program_loop)和视频ES循环(Video ES_loop)这两者来执行信令。立体节目信息描述符(Stereoscopic_program_info_descriptor)被放置在节目循环中。
图83(a)示出了立体节目信息描述符的结构示例(语法)。“descriptor_tag(描述符_标记)”是表示描述符类型的8位数据，并且在此处表示立体节目信息描述符。“descriptor_length”是表示描述符的长度(尺寸)的8位数据。该数据是描述符的长度并且表示后续字节的数量。
3位字段“stereoscopic_service_type(立体_业务_类型)”指定业务类型。图83(b)示出了“stereoscopic_service_type”的值和业务类型的关系。例如，“011”表示业务兼容的立体3D业务，“001”表示2D业务。
返回到图82的示例，在节目映射表(PMT)的节目循环中设置的立体节目信息描述符的“stereoscopic_service_type”的值在3D时段中是“011”，而在2D时段中是“001”。
此外，在2D时段中，在视频ES循环中设置MPEG2立体视频描述符(MPEG2_stereoscopic_video_format descriptor(MPEG2_立体_视频_格式描述符)。图84示出了MPEG2立体视频描述符的结构示例(语法)。“descriptor_tag(描述符_标记)”是表示描述符类型的8位数据，并且在此处表示MPEG2立体视频描述符。“descriptor_length(描述符_长度)”是表示描述符的长度(尺寸)的8位数据。该数据是描述符的长度，并且表示后续字节的数量。
如果“Stereo_video_arrangement_type_present(立体_视频_布置_类型_存在)”是“1”，这表示其后面的7位“arrangement_type”是“stereo_video_format_type(立体_视频_格式_类型)”。这与如上所述的(参照图46)插入到用户区域中的帧封装布置数据(frame_packing_arrangement_data())的“arrangement_type”按照相同的方式定义。另一方面，如果“Stereo_video_arrangement_type_present”是“0”，这表示预留的区域，在预留的区域中，在其后面的7位中没有信息。
如上所述，在2D时段中的视频ES循环中设置的MPEG2立体视频描述符中，“Stereo_video_arrangement_type_present”是“1”，并且“arrangement_type”表示“2D”。
将描述在利用图82所示的视频层和系统层来执行信令的情况下在图55所示的接收器200B中的立体(3D)显示处理和二维(2D)显示处理之间的操作模式切换控制。通过CPU201来执行该切换。
当接收二维(2D)图像时，通过解复用器215来提取立体节目信息描述符(stereoscopic_service_type＝"001")和MPEG2立体视频描述符(arrangement_type＝"2D")并将其提供至CPU 201。
此外，当接收二维(2D)图像时，通过视频解码器216-1来提取帧封装布置数据(arrangement_type＝"2D")并将其提供至CPU 201。另一方面，当接收立体(3D)图像时，通过解复用器215提取立体节目信息描述符(stereoscopic_service_type＝"011")并将其提供至CPU 201。
当在提取了立体节目信息描述符(stereoscopic_service_type＝"011")之后未提取帧封装布置数据(arrangement_type＝"2D")时，CPU 201执行控制以在帧(图片)定时(由“Ta”表示)处从二维(2D)显示处理切换到立体(3D)显示处理。
此外，当在提取了立体节目信息描述符(stereoscopic_service_type＝"001")和MPEG2立体视频描述符(arrangement_type＝"2D")之后提取了帧封装布置数据(arrangement_type＝"2D")时，CPU 201执行控制以在帧(图片)定时(由“Tb”表示)处从立体(3D)显示处理切换到二维(2D)显示处理。
图85示出了传输流TS的配置示例。此外，在该配置示例中，为了简化附图，未示出视差数据、音频、图形等等。传输流TS包括“PID1”的基本视频流(MPEG2流)的PES数据包“video PES1(视频PES1)”，还包括“PID2”的附加视频流(AVC流)的PES数据包“video PES1(视频PES1)”。仅在2D时段中，以图片单位将表示2D模式的帧封装布置数据(arrangement_type＝"2D")插入基本视频流的用户数据区域中。
此外，在PMT之下的节目循环中放置立体节目信息描述符(Stereoscopic_program_info_descriptor)。描述符的“stereoscopic_service_type”在3D时段中是“011”，这表示3D业务，在2D时段中是“001”，这表示2D业务。
此外，仅在2D时段的情况下，将MPEG2立体视频描述符(MPEG2_stereoscopic_video_format descriptor)放置在PMT之下的视频ES循环中作为与基本视频流有关的信息。描述符的“arrangement_type”是“2D”。这表示2D业务。相反，如果不存在描述符，则表示3D业务。
(配置示例2)
图86示出了在3D时段和2D时段中均存在基本视频流和附加视频流并且利用PMT的视频ES循环(video ES_loop)来执行信令的示例。此外，在图86中，将适当地描述与图82对应的部分的描述。
在该示例的情况下，图54所示的发送数据生成单元110B在2D时段中以图片单位将表示2D模式的帧封装布置数据(arrangement_type＝"2D")插入基本视频流的用户数据区域中。从而，接收器能够在视频层中以帧精度确定是2D时段还是3D时段。
此外，在该示例的情况下，在PMT的节目循环中放置立体节目信息描述符(Stereoscopic_program_info_descriptor(立体_节目_信息_描述符))。描述符的“stereoscopic_service_type(立体_业务_类型)”的值在3D时段和2D时段中都是“011”。此外，在该示例的情况下，在2D时段中，MPEG2立体视频描述符(MPEG2_stereoscopic_video_format descriptor)被放置在视频ES循环中。在该描述符中，“arrangement_type”表示“2D”。
将描述在利用图86所示的视频层和系统层来执行信令的情况下在图55所示的接收器200B中的立体(3D)显示处理和二维(2D)显示处理之间的操作模式切换控制。通过CPU201来执行该切换。
当接收二维(2D)图像时，通过解复用器215来提取立体节目信息描述符(stereoscopic_service_type＝"011")和MPEG2立体视频描述符(arrangement_type＝"2D")，并将其提供到CPU 201。此外，当接收二维(2D)图像时，通过视频解码器216-1来提取帧封装布置数据(arrangement_type＝"2D")，并将其提供到CPU 201。另一方面，当接收立体(3D)图像时，通过解复用器215仅提取立体节目信息描述符(stereoscopic_service_type＝"011")并将其提供到CPU 201。
当在仅提取立体节目信息描述符(stereoscopic_service_type＝"011")之后未提取帧封装布置数据(arrangement_type＝"2D")时，CPU 201执行控制以在帧(图片)定时(由“Ta”表示)处从二维(2D)显示处理切换到立体(3D)显示处理。
此外，当在提取了立体节目信息描述符(stereoscopic_service_type＝"001")和MPEG2立体视频描述符(arrangement_type＝"2D")之后提取帧封装布置数据(arrangement_type＝"2D")时，CPU 201执行控制以在帧(图片)定时(由“Tb”表示)从立体(3D)显示处理切换到二维(2D)显示处理。
[配置示例3]
图87示出了在3D时段和2D时段中均存在基本视频流和附加视频流并且利用PMT的节目循环(Program_loop)来执行信令的示例。此外，在图87中，将适当地省略与图82对应的部分的描述。
在该示例的情况下，图54所示的发送数据生成单元110B在2D时段中以图片单位将表示2D模式的帧封装布置数据(arrangement_type＝"2D")插入基本视频流的用户数据区域中。从而，接收器能够在视频层中以帧精度确定是2D时段还是3D时段。
此外，在该示例的情况下，在PMT的节目循环中放置立体节目信息描述符(Stereoscopic_program_info_descriptor)。该描述符的值在3D时段中是“011”而在2D时段中是“001”。
将描述利用图87所示的视频层和系统层中执行信令的情况下在图55所示的接收器200B中的立体(3D)显示处理和二维(2D)显示处理之间的操作模式切换控制。通过CPU201来执行该切换。
当接收二维(2D)图像时，通过解复用器215提取立体节目信息描述符(stereoscopic_service_type＝"001")并将其提供到CPU 201。此外，当接收二维(2D)图像时，通过视频解码器216-1提取帧封装布置数据(arrangement_type＝"2D")并将其提供到CPU 201。另一方面，当接收立体(3D)图像时，通过解复用器215提取立体节目信息描述符(stereoscopic_service_type＝"011")并将其提供到CPU 201。
在提取立体节目信息描述符(stereoscopic_service_type＝"011")之后不提取帧封装布置数据(arrangement_type＝"2D")时，CPU 201执行控制以在帧(图片)定时(由“Ta”表示)处从二维(2D)显示处理切换到立体(3D)显示处理。
此外，在提取立体节目信息描述符(stereoscopic_service_type＝"001")之后提取帧封装布置数据(arrangement_type＝"2D")时，CPU 201执行控制以在帧(图片)定时(由“Tb”表示)处从立体(3D)显示处理切换到二维(2D)显示处理。
(配置示例4)
图88示出了在3D时段中存在基本视频流和附加视频流而在2D时段中存在基本视频流并且利用PMT的节目循环(Program_loop)和视频ES循环(video ES_loop)这两者来执行信令的示例。此外，在图88中，将适当地省略与图82对应的部分的描述。
在该示例的情况下，图54所示的发送数据生成单元110B在2D时段中以图片单位将表示2D模式的帧封装布置数据(arrangement_type＝"2D")插入基本视频流的用户数据区域中。从而，接收器能够在视频层中以帧精度确定是2D时段还是3D时段。
此外，在该示例的情况下，在PMT的节目循环中放置立体节目信息描述符(Stereoscopic_program_info_descriptor)。描述符的“stereoscopic_service_type”的值在3D时段中是“011”而在2D时段中是“001”。此外，在该示例的情况下，在2D时段中，在视频ES循环中放置MPEG2立体视频描述符(MPEG2_stereoscopic_video_formatdescriptor)。在该描述符中，“arrangement_type”表示“2D”。
将描述利用图88所示的视频层和系统层执行信令的情况下在图55所示的接收器200B中在立体(3D)显示处理和二维(2D)显示处理之间的操作模式切换控制。通过CPU 201执行该切换。
当接收二维(2D)图像时，通过解复用器215提取立体节目信息描述符(stereoscopic_service_type＝"001")和MPEG2立体视频描述符(arrangement_type＝"2D")并将其提供到CPU 201。此外，当接收二维(2D)图像时，通过视频解码器216-1提取帧封装布置数据(arrangement_type＝"2D")并将其提供到CPU 201。另一方面，当接收立体(3D)图像时，通过解复用器215提取立体节目信息描述符(stereoscopic_service_type＝"011")并将其提供到CPU 201。
当在仅提取立体节目信息描述符(stereoscopic_service_type＝"011")之后不提取帧封装布置数据(arrangement_type＝"2D")时，CPU 201执行控制以在帧(图片)定时(由“Ta”表示)处从二维(2D)显示处理切换到立体(3D)显示处理。
此外，当在提取立体节目信息描述符(stereoscopic_service_type＝"001")和MPEG2立体视频描述符(arrangement_type＝"2D")之后提取帧封装布置数据(arrangement_type＝"2D")时，CPU 201执行控制以在帧(图片)定时(由“Tb”表示)处从立体(3D)显示处理切换到二维(2D)显示处理。
[配置示例5]
图89示出了在3D时段中存在基本视频流和附加视频流而在2D时段中仅存在基本视频流并且利用视频ES循环(video ES_loop)来执行信令的示例。此外，在图89中，将适当地省略与图82对应的部分的描述。
在该示例的情况下，图54所示的发送数据生成单元110B在2D时段中以图片单位将表示2D模式的帧封装布置数据(arrangement_type＝"2D")插入基本视频流的用户数据区域中。从而，接收器能够在视频层中以帧精度确定是2D时段还是3D时段。
此外，在该示例的情况下，在PMT的节目循环中放置立体节目信息描述符(Stereoscopic_program_info_descriptor)。该描述符的“stereoscopic_service_type“的值在3D时段和2D时段中都是“011”。此外，在该示例的情况下，在2D时段中在视频ES循环中放置MPEG2立体视频描述符(MPEG2_stereoscopic_video_format descriptor)。在该描述符中，“arrangement_type”表示“2D”。
将描述在利用图89所示的视频层和系统层来执行信令的情况下在图55所示的接收器200B中的立体(3D)显示处理和二维(2D)显示处理之间的操作模式切换控制。通过CPU201来执行该切换。
当接收二维(2D)图像时，通过解复用器215来提取立体节目信息描述符(stereoscopic_service_type＝"001")和MPEG2立体视频描述符(arrangement_type＝"2D")并将其发送到CPU 201。此外，当接收二维(2D)图像时，通过视频解码器216-1来提取帧封装布置数据(arrangement_type＝"2D")并将其发送到CPU 201。另一方面，当接收立体(3D)图像时，通过解复用器215仅提取立体节目信息描述符(stereoscopic_service_type＝"011")并将其提供到CPU 201。
当在仅提取立体节目信息描述符(stereoscopic_service_type＝"011")之后不提取帧封装布置数据(arrangement_type＝"2D")时，CPU 201执行控制以在帧(图片)定时(由“Ta”表示)处从二维(2D)显示处理切换到立体(3D)显示处理。
此外，在提取立体节目信息描述符(stereoscopic_service_type＝"011")和MPEG2立体视频描述符(arrangement_type＝"2D")之后提取帧封装布置数据(arrangement_type＝"2D")时，CPU 201执行控制以在帧(图片)定时(由“Tb”表示)处从立体(3D)显示处理切换到二维(2D)显示处理。
[配置示例6]
图90示出了在3D时段中存在基本视频流和附加视频流而在2D时段中仅存在基本视频流并且利用PMT的节目循环(Program_loop)来执行信令的示例。此外，在图90中，将适当地省略与图82对应的部分的描述。
在该示例的情况下，图54所示的发送数据生成单元110B在2D时段中以图片单位将表示2D模式的帧封装布置数据(arrangement_type＝"2D")插入基本视频流的用户数据区域中。从而，接收器能够在视频层中以帧精度确定是2D时段还是3D时段。
此外，在该示例的情况下，在PMT的节目循环中放置立体节目信息描述符(Stereoscopic_program_info_descriptor)。描述符的值在3D时段中是“011”而在2D时段中是“001”。
在利用图90所示的系统层和视频层来执行信令的情况下，将描述在图55所示的接收器200B中的在立体(3D)显示处理和二维(2D)显示处理之间的操作模式切换控制。通过CPU 201来执行该切换。
当接收二维(2D)图像时，通过解复用器215提取立体节目信息描述符(stereoscopic_service_type＝"001")并将其提供到CPU 201。此外，当接收二维(2D)图像时，通过视频编码器216-1提取帧封装布置数据((arrangement_type＝"2D")并将其提供到CPU 201。另一方面，当接收立体(3D)图像时，通过解复用器215提取立体节目信息描述符(stereoscopic_service_type＝"011")并将其提供到CPU 201。
当在提取立体节目信息描述符(stereoscopic_service_type＝"011")之后未提取帧封装布置数据(arrangement_type＝"2D")时，CPU 201执行控制以在帧(图片)定时(由“Ta”表示)处从二维(2D)显示处理切换到立体(3D)显示处理。
此外，当在提取立体节目信息描述符(stereoscopic_service_type＝"001”)之后提取帧封装布置数据(arrangement_type＝"2D")时，CPU 201执行控制以在帧(图片)定时(由“Tb”表示)处从立体(3D)显示处理切换到二维(2D)显示处理。
(其他配置示例)
在上述配置示例1至6中，已经描述了在2D时段中将表示2D模式的辅助信息(例如，帧封装布置数据)插入视频流的每个图片中的示例。省略了详细描述，并且，在2D时段和3D时段中将标识模式的辅助信息插入视频流的每个图片中的情况下与在3D时段中将表示3D模式的辅助信息插入视频流的每个图片中的情况下，可以采用相同的配置。
<2.修改示例>
[SVC流]
此外，在上述实施例中，已经描述了将本技术应用于MVC流的示例。换句话说，该示例为这样的示例，第一发送模式是用于发送基本视角图像数据以及与基本视角图像数据一起使用的非基本视角图像数据以显示立体图像的立体发送模式，并且第二发送模式是用于发送二维图像数据的二维图像发送模式。
然而，本技术可以按相同的方式应用于SVC流。SVC流包括形成可缩放编码图像数据的最低层的图像数据的视频原始流。此外，SVC流包括除了形成可缩放编码图像数据的最低层之外的更高层的图像数据的预定数量的视频原始流。
在SVC流的情况下，第一发送模式是用于发送形成可缩放编码图像数据的最低层的图像数据以及与除了最低层之外的层的图像数据的扩展图像发送模式，第二发送模式是用于发送基本图像数据的基本图像发送模式。此外，在SVC流的情况下，接收方能够按照与上述MVC流相同的方式迅速地识别模式。
在SVC流的情况下，考虑流配置示例1，其中，以扩展图像发送模式发送基本视频流和附加视频流，而以基本图像发送模式(参照图80)发送单个视频流(仅基本视频流)。在该情况下，可以按照与上述MVC流的情况相同的方式来识别模式。
此外，在SVC流的情况下，考虑流配置示例2，其中既以扩展图像发送模式又以基本图像发送模式(参照图81)发送基本视频流和附加视频流。然而，在基本图像发送模式中，作为参照基本视频流的结果，按照视角之间的差为零的编码模式(跳过宏块)对附加视频流进行编码。同样在该情况下，可以按照与上述MVC流的情况相同的方式识别模式。
图91示出了当接收扩展图像时的接收数据包处理的示例。混合并发送基本视频流和附加视频流的NAL数据包。图92示出了NAL单元报头(NAL单元报头SVC扩展)的NAL单元报头和SVC扩展的配置示例(语法)。字段“dependency_id”表示哪个编号的层是相应层。如图91所示，接收器将混合发送的NAL数据包分配给每个流，并基于NAL单元类型的值与NAL单元报头SVC扩展(报头svc扩展)的依赖ID(dependency_id)的组合来对每个流进行解码。
图93示出了基本图像发送模式中的接收数据包处理的示例。混合并发送基本视频流和附加视频流的NAL数据包。如图93所示，接收器将混合发送的NAL数据包分配给每个流，并基于NAL单元类型的值与NAL单元报头SVC扩展(报头svc扩展)的依赖ID(dependency_id)的组合来仅对基本视频流进行解码。
换句话说，同样在基本图像发送模式中，按照与扩展图像发送模式相同的方式，接收器接收基本视频流和附加视频流，但是在不执行扩展图像接收处理的情况下基于与多视角视角位置SEI消息(即，具有相同值的多个流的依赖性的设置内容)的“view_position[i]”相同类型的ID值的信息来执行基本图像接收处理。
如上所述，由于能够在数据包(NAL数据包)级别执行标识而不必对附加视频流的编码数据进行解码，可以在接收器中迅速地从扩展图像发送模式转变到基本图像发送模式。此外，由于等于或低于宏块条层的层不被解码并可以被忽略，因而在一定程度上抑制了存储器消耗，从而节约电力或将系统的CPU预算、存储空间带宽等分配给其他特征块(例如，高性能图形)，从而实现多功能。
[其他]
此外，尽管在已经在上述实施例中描述了包括广播站100和接收器200的图像发送和接收系统10，但是可应用本技术的图像发送和接收系统的配置不限于此。例如，接收器200部分可以被配置为包括经由数字接口(例如，高清多媒体接口)(HDMI)相连接的机顶盒和监视器。
此外，在上述实施例中，已经描述了载体(container)是传输流(MPEG-2TS)的示例。然而，本技术可类似地应用于具有以下配置的系统：利用网络如互联网来执行向接收端子的图像数据传送。在互联网传送中，利用MP4或其它格式的载体来频繁地执行传送。换句话说，该载体对应于各种格式的载体，如在数字广播标准中采用的传输流(MPEG-2TS)和在互联网传送中使用的MP4。
此外，本技术可具有以下配置。
(1)一种图像数据发送装置，包括：发送单元，其发送包括预定数量的图像数据项的一个或多个视频流；
信息插入单元，其将辅助信息插入所述视频流中，所述辅助信息用于标识发送多个图像数据项的第一发送模式和发送单个图像数据项的第二发送模式。
(2)如(1)所述的图像数据发送装置，其中，所述信息插入单元在所述第一发送模式下将表示该第一发送模式的辅助信息插入所述视频流中，在所述第二发送模式下将表示该第二发送模式的辅助信息插入所述视频流中。
(3)如(1)所述的图像数据发送装置，其中所述信息插入单元在所述第一发送模式下将表示该第一发送模式的辅助信息插入所述视频流中，而在所述第二发送模式下不将所述辅助信息插入所述视频流。
(4)如(1)所述的图像数据发送装置，其中，所述信息插入单元在所述第一发送模式下不将所述辅助信息插入所述视频流中，并在所述第二发送模式下将表示该第二发送模式的辅助信息插入所述视频流中。
(5)如(1)至(4)中任一所述的图像数据发送装置，其中，所述信息插入单元至少以节目单位、场景单位、图片组单位或图片单位将所述辅助信息插入所述视频流中。
(6)如(1)至(5)中任一所述的图像数据发送装置，其中，所述发送单元在所述第一发送模式下发送包括第一图像数据的基本视频流和包括与该第一图像数据一起使用的第二图像数据的预定数量的附加视频流，而在所述第二发送模式下发送包括所述第一图像数据的单个视频流。
(7)如(1)至(5)中任一所述的图像数据发送装置，其中，所述发送单元在所述第一发送模式下发送包括第一图像数据的基本视频流和包括与该第一图像数据一起使用的第二图像数据的预定数量的附加视频流，而在所述第二发送模式下发送包括第一图像数据的基本视频流和基本包括与该第一图像数据相同的图像数据的预定数量的附加视频流。
(8)如(1)至(7)中任一所述的图像数据发送装置，其中，所述第一发送模式是发送基本视角图像数据和与该基本视角图像数据一起使用的非基本视角图像数据以显示立体图像的立体图像发送模式，而所述第二发送模式是发送二维图像数据的二维图像发送模式。
(9)如(8)所述的图像数据发送装置，其中，表示所述立体图像发送模式的所述辅助信息包括表示每个视角的相对位置关系的信息。
(10)如(1)至(7)中任一所述的图像数据发送装置，其中，所述第一发送模式是发送形成可缩放编码图像数据的最低层的图像数据和除了该最低层之外的层的图像数据的扩展图像发送模式，而所述第二发送模式是发送基本图像数据的基本图像发送模式。
(11)如(1)至(10)中任一所述的图像数据发送装置，其中，所述发送单元发送包括所述视频流的预定格式的载体，以及其中，所述图像数据发送装置还包括标识信息插入单元，其将用于标识是处于所述第一发送模式还是处于所述第二发送模式的标识信息插入所述载体的层中。
(12)一种图像数据发送方法，包括：发送步骤，发送包括预定数量的图像数据项的一个或多个视频流；以及信息插入步骤，将辅助信息插入所述视频流中，所述辅助信息用于标识发送多个图像数据项的第一发送模式和发送单个图像数据项的第二发送模式。
(13)一种图像数据接收装置，包括：接收单元，其接收包括预定数量的图像数据项的一个或多个视频流；发送模式识别单元，其基于被插入所接收到的视频流中的辅助信息来识别是发送多个图像数据项的第一发送模式还是发送单个图像数据项的第二发送模式；以及处理单元，其基于模式识别结果对所接收到的视频流执行与每个模式对应的处理，以获取所述预定数量的图像数据项。
(14)如(13)所述的图像数据接收装置，其中，当表示所述第一发送模式的辅助信息被插入所接收到的视频流中时，所述发送模式识别单元识别是该第一发送模式，而当表示所述第二发送模式的辅助信息被插入所接收到的视频流中时，所述发送模式识别单元识别是该第二发送模式。
(15)如(13)所述的图像数据接收装置，其中，当表示所述第一发送模式的辅助信息被插入所接收到的视频流中时，所述发送模式识别单元识别是该第一发送模式，而当所述辅助信息未被插入所接收到的视频流中时，所述发送模式识别单元识别是所述第二发送模式。
(16)如(13)所述的图像数据接收装置，其中，当所述辅助信息未被插入所接收到的视频流中时，所述发送模式识别单元识别是所述第一发送模式，而当表示所述第二发送模式的辅助信息被插入所接收到的视频流中时，所述发送模式识别单元识别是该第二发送模式。
(17)如(13)至(16)中任一所述的图像数据接收装置，
其中，所述接收单元在所述第一发送模式下接收包括第一图像数据的基本视频流和包括与该第一图像数据一起使用的第二图像数据的预定数量的附加视频流，而在所述第二发送模式下接收包括所述第一图像数据的单个视频流，以及其中，所述处理单元在所述第一发送模式下对所述基本视频流和所述预定数量的附加视频流进行处理以获取所述第一图像数据和所述第二图像数据，而在所述第二发送模式下对所述单个视频流进行处理以获取所述第一图像数据。
(18)如(13)至(16)中任一所述的图像数据接收装置，
其中，所述接收单元在所述第一发送模式下接收包括第一图像数据的基本视频流和包括与该第一图像数据一起使用的第二图像数据的预定数量的附加视频流，而在所述第二发送模式下接收包括第一图像数据的基本视频流和基本包括与该第一图像数据相同的图像数据的预定数量的附加视频流，以及其中，所述处理单元在所述第一发送模式下对所述基本视频流和所述预定数量的附加视频流进行处理以获取所述第一图像数据和所述第二图像数据，而在所述第二发送模式下对所述基本视频流进行处理以获取所述第一图像数据而不执行从所述预定数量的附加视频流中获取所述第二图像数据的处理。
(19)如(13)至(18)中任一所述的图像数据接收装置，其中，所述接收单元接收包括所述视频流的预定格式的载体，其中，用于标识是处于所述第一发送模式还是处于所述第二发送模式的标识信息被插入所述载体中的所述载体的层中，以及其中，所述发送模式识别单元基于被插入所接收到的视频流中的辅助信息和被插入所述载体的层中的标识信息，识别发送多个图像数据项的第一发送模式和发送单个图像数据项的第二发送模式。
(20)如(13)至(19)中任一所述的图像数据接收装置，其中，所述第一发送模式是发送基本视角图像数据和与该基本视角图像数据一起使用的非基本视角图像数据以显示立体图像的立体图像发送模式，而所述第二发送模式是发送二维图像数据的二维图像发送模式。
本技术的一个主要特征是接收方能够基于在3D时段和2D时段中、仅在3D时段中、或者仅在2D时段中插入到发送视频流中的辅助信息(SEI消息，用户数据等等)来以帧精度识别是3D时段还是2D时段，因此可以适当地准确地处理传送内容中的动态变化，从而接收正确的流(参照图59和79)。
参考标号列表
10 图像发送和接收系统
100 广播站
110 发送数据生成单元
111-1 至111-N图像数据输出部
112 视角选择器
113-1、113-2和113-3 缩放器
114-1、114-2和114-3 视频编码器
115 复用器
116 视差数据生成部
117 视差编码器
118 图形数据输出部
119 图形编码器
120 音频数据输出部
121 音频编码器
200和200A 接收器
201 CPU
211 天线端子
212 数字调谐器
213 传输流缓冲器(TS缓冲器)
214 解复用器
215-1、215-2、215-3、221、225和230 编码缓冲器
216-1、216-2和216-3 视频解码器
217-1、217-2和217-3 视角缓冲器
218-1、218-2、218-3和228 缩放器
219 视角插值单元
220 像素交错/叠加单元
222 视差解码器
223 视差缓冲器
224 视差数据转换单元
226 图形解码器
227 像素缓冲器
229 图形偏移器
231 音频解码器
232 声道混合单元
233 视差数据生成单元

Claims (13)

1.一种图像数据发送装置，包括：
图像数据输出部(111-1至111-N)，被配置成输出N个视角的图像数据；
视角选择器(112)，适于从N个图像数据输出部(111-1至111-N)接收N个视角的图像数据，并且至少提取左端视角、右端视角和中间视角的图像数据；
发送单元，发送包括所提取的图像视角的图像数据的一个或多个视频原始流；以及
信息插入单元，将辅助信息插入所述视频原始流中，所述辅助信息用于识别发送多个图像视角的图像数据的第一发送模式以及发送单个图像视角的图像数据的第二发送模式，其中，所述辅助信息包括视角配置信息，所述视角配置信息包括指示由所述视角选择器(112)接收到的视角的数量的信息以及指示每个视角的相对位置关系的信息。
2.根据权利要求1所述的图像数据发送装置，
其中，所述信息插入单元在所述第一发送模式下将指示所述第一发送模式的辅助信息插入到所述视频流中，并且在所述第二发送模式下将指示所述第二发送模式的辅助信息插入到所述视频流中。
3.根据权利要求1所述的图像数据发送装置，
其中，所述信息插入单元在所述第一发送模式下将指示所述第一发送模式的辅助信息插入到所述视频流中，并且在所述第二发送模式下不将所述辅助信息插入到所述视频流中。
4.根据权利要求1所述的图像数据发送装置，
其中，所述信息插入单元在所述第一发送模式下不将所述辅助信息插入到所述视频流中，并且在所述第二发送模式下将指示所述第二发送模式的辅助信息插入到所述视频流中。
5.根据权利要求1所述的图像数据发送装置，
其中，所述发送单元在所述第一发送模式下发送包括第一图像数据的基本视频流和包括与所述第一图像数据一起使用的第二图像数据的预定数量的附加视频流，而在所述第二发送模式下发送包括所述第一图像数据的单个视频流。
6.根据权利要求1所述的图像数据发送装置，
其中，所述发送单元在所述第一发送模式下发送包括第一图像数据的基本视频流和包括与所述第一图像数据一起使用的第二图像数据的预定数量的附加视频流，而在所述第二发送模式下发送包括第一图像数据的基本视频流和实质上包括与所述第一图像数据相同的图像数据的预定数量的附加视频流。
7.一种图像数据发送方法，包括：
输出N个视角的图像数据；
从N个视角中至少提取左端视角、右端视角和中间视角的图像数据；
发送步骤，发送包括所提取的图像视角的图像数据的一个或多个视频原始流；以及
信息插入步骤，将辅助信息插入所述视频原始流中，所述辅助信息用于识别发送多个图像视角的图像数据的第一发送模式和发送单个图像视角的图像数据的第二发送模式，其中，所述辅助信息包括视角配置信息，所述视角配置信息包括指示N个视角的信息和指示每个视角的相对位置关系的信息。
8.一种图像数据接收装置，包括：
接收单元，接收一个或多个视频原始流，所述视频原始流包括从N个视角中选择的预定数量的图像视角的图像数据；
发送模式识别单元，基于插入到视频传输流的层的识别信息并且基于视角配置信息来识别发送多个图像视角的图像数据的第一发送模式和发送单个图像视角的图像数据的第二发送模式，所述识别信息用于识别是否插入了所述视角配置信息，所述视角配置信息包括指示N个视角的信息和指示每个视角的相对位置关系的信息并且所述视角配置信息被插入到所接收到的视频原始流中；
处理单元，基于模式识别结果对所接收到的视频流执行与每个模式对应的处理，以获取所述预定数量的图像视角的图像数据；以及
视角插值单元(219)，被配置成根据所接收到的预定数量的视角的图像数据插值并生成未发送的多个视角的图像数据。
9.根据权利要求8所述的图像数据接收装置，
其中，当指示所述第一发送模式的辅助信息被插入到所接收到的视频流中时，所述发送模式识别单元识别出所述第一发送模式；而当指示所述第二发送模式的辅助信息被插入到所接收到的视频流中时，所述发送模式识别单元识别出所述第二发送模式。
10.根据权利要求8所述的图像数据接收装置，
其中，当指示所述第一发送模式的辅助信息被插入到所接收到的视频流中时，所述发送模式识别单元识别出所述第一发送模式；而当所述辅助信息未被插入到所接收到的视频流中时，所述发送模式识别单元识别出所述第二发送模式。
11.根据权利要求8所述的图像数据接收装置，
其中，当所述辅助信息未被插入到所接收到的视频流中时，所述发送模式识别单元识别出所述第一发送模式；而当指示所述第二发送模式的辅助信息被插入到所接收到的视频流中时，所述发送模式识别单元识别出所述第二发送模式。
12.根据权利要求8所述的图像数据接收装置，
其中，所述接收单元在所述第一发送模式下接收包括第一图像数据的基本视频流和包括与所述第一图像数据一起使用的第二图像数据的预定数量的附加视频流，并且在所述第二发送模式下接收包括所述第一图像数据的单个视频流，以及
其中，所述处理单元在所述第一发送模式下处理所述基本视频流和所述预定数量的附加视频流以获取所述第一图像数据和所述第二图像数据，并且在所述第二发送模式下处理所述单个视频流以获取所述第一图像数据。
13.根据权利要求8所述的图像数据接收装置，
其中，所述接收单元在所述第一发送模式下接收包括第一图像数据的基本视频流和包括与所述第一图像数据一起使用的第二图像数据的预定数量的附加视频流，并且在所述第二发送模式下接收包括第一图像数据的基本视频流和实质上包括与所述第一图像数据相同的图像数据的预定数量的附加视频流，以及
其中，所述处理单元在所述第一发送模式下处理所述基本视频流和所述预定数量的附加视频流，以获取所述第一图像数据和所述第二图像数据，并且在所述第二发送模式下处理所述基本视频流以获取所述第一图像数据而不执行从所述预定数量的附加视频流获取所述第二图像数据的处理。
CN201810586327.XA 2011-11-11 2012-11-05 图像数据发送装置和方法、图像数据接收装置 Pending CN108471546A (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP2011248114 2011-11-11
JP2011-248114 2011-11-11
JP2012089769 2012-04-10
JP2012-089769 2012-04-10
JP2012108961 2012-05-10
JP2012-108961 2012-05-10
JP2012148958A JP6192902B2 (ja) 2011-11-11 2012-07-02 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
JP2012-148958 2012-07-02
CN2012800046748A CN103339945A (zh) 2011-11-11 2012-11-05 图像数据发送装置、图像数据发送方法和图像数据接收装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2012800046748A Division CN103339945A (zh) 2011-11-11 2012-11-05 图像数据发送装置、图像数据发送方法和图像数据接收装置

Publications (1)

Publication Number Publication Date
CN108471546A true CN108471546A (zh) 2018-08-31

Family

ID=48289978

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810586327.XA Pending CN108471546A (zh) 2011-11-11 2012-11-05 图像数据发送装置和方法、图像数据接收装置
CN2012800046748A Pending CN103339945A (zh) 2011-11-11 2012-11-05 图像数据发送装置、图像数据发送方法和图像数据接收装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2012800046748A Pending CN103339945A (zh) 2011-11-11 2012-11-05 图像数据发送装置、图像数据发送方法和图像数据接收装置

Country Status (6)

Country Link
US (1) US20140071232A1 (zh)
EP (1) EP2645725B1 (zh)
JP (1) JP6192902B2 (zh)
KR (1) KR102009048B1 (zh)
CN (2) CN108471546A (zh)
WO (1) WO2013069604A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5594002B2 (ja) * 2010-04-06 2014-09-24 ソニー株式会社 画像データ送信装置、画像データ送信方法および画像データ受信装置
WO2013069608A1 (ja) 2011-11-11 2013-05-16 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN103457973B (zh) * 2012-06-01 2016-04-27 深圳市腾讯计算机系统有限公司 一种图片上传方法、系统、图片上传客户端及网络服务器
RU2015105986A (ru) * 2012-08-27 2016-09-10 Сони Корпорейшн Передающее устройство, способ передачи, приёмное устройство и способ приёма
CN105313898B (zh) 2014-07-23 2018-03-20 现代摩比斯株式会社 驾驶员状态感应装置及其方法
US10652284B2 (en) * 2016-10-12 2020-05-12 Samsung Electronics Co., Ltd. Method and apparatus for session control support for field of view virtual reality streaming
JP6969572B2 (ja) * 2016-10-25 2021-11-24 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
US9918135B1 (en) 2017-02-07 2018-03-13 The Directv Group, Inc. Single button selection to facilitate actions in a communications network
CN109218821A (zh) * 2017-07-04 2019-01-15 阿里巴巴集团控股有限公司 视频的处理方法、装置、设备和计算机存储介质
US10630976B2 (en) * 2018-08-17 2020-04-21 Qualcomm Incorporated Display refresh blocks determination for video coding
CN110012310B (zh) * 2019-03-28 2020-09-25 北京大学深圳研究生院 一种基于自由视点的编解码方法及装置
US11373406B2 (en) * 2019-06-28 2022-06-28 Intel Corporation Transmission, caching, and searching of video streams based on frame dependencies and content
CN111479162B (zh) * 2020-04-07 2022-05-13 成都酷狗创业孵化器管理有限公司 直播数据传输方法、装置以及计算机可读存储介质
CN117611516B (zh) * 2023-09-04 2024-09-13 北京智芯微电子科技有限公司 图像质量评估、人脸识别、标签生成及确定方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060268987A1 (en) * 2005-05-31 2006-11-30 Samsung Electronics Co., Ltd. Multi-view stereo imaging system and compression/decompression method applied thereto
WO2009075418A1 (en) * 2007-12-12 2009-06-18 Electronics And Telecommunications Research Institute Method and apparatus for stereoscopic data processing based on digital multimedia broadcasting
CN101803394A (zh) * 2007-06-19 2010-08-11 韩国电子通信研究院 存储和播放立体数据的元数据结构以及使用该元数据存储立体内容文件的方法
CN101866644A (zh) * 2009-04-15 2010-10-20 Nec液晶技术株式会社 显示控制器、显示装置和图像处理方法
JP2011223625A (ja) * 2009-07-14 2011-11-04 Panasonic Corp 映像再生装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
AU2003231508A1 (en) * 2002-04-25 2003-11-10 Sharp Kabushiki Kaisha Multimedia information generation method and multimedia information reproduction device
KR100585966B1 (ko) * 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
KR100747550B1 (ko) * 2005-12-09 2007-08-08 한국전자통신연구원 Ｄｍｂ 기반의 3차원 입체영상 서비스 제공 방법과, ｄｍｂ기반의 3차원 입체영상 서비스를 위한 복호화 장치 및 그방법
US20080043832A1 (en) * 2006-08-16 2008-02-21 Microsoft Corporation Techniques for variable resolution encoding and decoding of digital video
EP2393301A1 (en) * 2007-06-11 2011-12-07 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image
US8660402B2 (en) * 2007-12-14 2014-02-25 Koninklijke Philips N.V. 3D mode selection mechanism for video playback
KR101506219B1 (ko) * 2008-03-25 2015-03-27 삼성전자주식회사 3차원 영상 컨텐츠 제공 방법, 재생 방법, 그 장치 및 그기록매체
KR20100040640A (ko) * 2008-10-10 2010-04-20 엘지전자 주식회사 수신 시스템 및 데이터 처리 방법
WO2010067810A1 (ja) * 2008-12-09 2010-06-17 ソニー株式会社 画像処理装置および方法
JP5416271B2 (ja) * 2009-04-20 2014-02-12 ドルビー ラボラトリーズ ライセンシング コーポレイション 多層映像配信のための適応補間フィルタ
JP2011010255A (ja) * 2009-10-29 2011-01-13 Sony Corp 立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP4823349B2 (ja) * 2009-11-11 2011-11-24 パナソニック株式会社 三次元映像復号装置及び三次元映像復号方法
EP2635033A1 (en) * 2010-10-25 2013-09-04 Panasonic Corporation Encoding method, display device, decoding method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060268987A1 (en) * 2005-05-31 2006-11-30 Samsung Electronics Co., Ltd. Multi-view stereo imaging system and compression/decompression method applied thereto
CN101803394A (zh) * 2007-06-19 2010-08-11 韩国电子通信研究院 存储和播放立体数据的元数据结构以及使用该元数据存储立体内容文件的方法
WO2009075418A1 (en) * 2007-12-12 2009-06-18 Electronics And Telecommunications Research Institute Method and apparatus for stereoscopic data processing based on digital multimedia broadcasting
CN101866644A (zh) * 2009-04-15 2010-10-20 Nec液晶技术株式会社 显示控制器、显示装置和图像处理方法
JP2011223625A (ja) * 2009-07-14 2011-11-04 Panasonic Corp 映像再生装置

Also Published As

Publication number Publication date
US20140071232A1 (en) 2014-03-13
EP2645725A1 (en) 2013-10-02
KR102009048B1 (ko) 2019-08-08
EP2645725B1 (en) 2018-05-23
EP2645725A4 (en) 2014-08-27
WO2013069604A1 (ja) 2013-05-16
KR20140093168A (ko) 2014-07-25
CN103339945A (zh) 2013-10-02
JP2013255207A (ja) 2013-12-19
JP6192902B2 (ja) 2017-09-06

Similar Documents

Publication Publication Date Title
CN108471546A (zh) 图像数据发送装置和方法、图像数据接收装置
JP5594002B2 (ja) 画像データ送信装置、画像データ送信方法および画像データ受信装置
US9756380B2 (en) Broadcast receiver and 3D video data processing method thereof
CN103597823B (zh) 发送装置、发送方法和接收器装置
KR20100040708A (ko) 수신 시스템 및 데이터 처리 방법
KR20110011000A (ko) 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 생성 방법 및 그 장치, 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 수신 방법 및 그 장치
WO2013105401A1 (ja) 送信装置、送信方法、受信装置および受信方法
US20140111612A1 (en) Image data transmitting apparatus, image data transmitting method, image data receiving apparatus, and image data receiving method
US9485490B2 (en) Broadcast receiver and 3D video data processing method thereof
US9693033B2 (en) Transmitting apparatus, transmitting method, receiving apparatus and receiving method for transmission and reception of image data for stereoscopic display using multiview configuration and container with predetermined format
US20140049606A1 (en) Image data transmission device, image data transmission method, image data reception device, and image data reception method
JP5928118B2 (ja) 送信装置、送信方法、受信装置および受信方法
KR101591703B1 (ko) 3차원 영상 데이터스트림 생성 방법 및 그 장치와 3차원 영상 데이터스트림 수신 방법 및 그 장치
US20130088572A1 (en) Image data transmission device, image data transmission method, image data reception device, and image data reception method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180831

WD01 Invention patent application deemed withdrawn after publication